AirLLM Vibe 项目

项目简介

AirLLM 是一个把大模型推理显存需求大幅压低的开源项目：不依赖量化、蒸馏或剪枝，就能让 70B 大模型在单张 4GB 显卡上跑起来。项目在 GitHub 收获约 3.6 万颗星，提供 PyPI 包 airllm，作者 Gavin Li 长期维护并持续跟进最新开源模型的显存优化。

核心功能

• 单卡跑超大模型：70B 模型可在 4GB 显存内推理，不需要量化即可运行。
• 覆盖旗舰开源模型：官方说明可让 2.8T 参数的 Kimi K3 在 4GB 以内运行，125B 的 Qwen3.8-Flash-Next 用 6GB，671B 的 DeepSeek-V3 约 12GB。
• 训练也吃小显存：2026 年 9 月起支持逐层流式冻结权重、适配器留在显卡上的训练方式，Qwen3.8-Flash-Next（125B）在 6GB 内可训练，Qwen3.8-27B 约 2GB。
• 层分片缓存：模型按层切分存储，可指定 layer_shards_saving_path 保存分片，避免重复切分。
• 兼容 transformers 生态：初始化后推理接口与常规 HuggingFace 模型一致，改动成本极低。
• 跨平台与低门槛：支持 Windows、Linux、macOS，消费级显卡即可起步，PyPI 一键安装。

技术实现

AirLLM 的核心思路是「权重不进显存，按层现取现用」。传统推理把整个模型权重驻留在显存里，显存需求随参数量线性增长；AirLLM 在主机内存中保存完整权重，推理每一步只把当前需要的若干层搬进显存，算完即释放，因此显存占用由「层数 × 单层大小」而不是模型总参数决定，4GB 显卡即可承载 70B 级模型。为降低反复搬运的开销，它把模型切成分片（layer shards）缓存在本地磁盘，通过 layer_shards_saving_path 复用；主机侧则利用内存映射减少拷贝，n-gram 之类的超大表结构直接映射在主机内存（64GB 内存机器即可承载）。训练场景沿用同一机制：冻结权重逐层流式下发，只有适配器参数常驻显卡，从而把微调显存门槛压到个位数 GB。代价是推理吞吐低于全显存驻留，适合显存受限的本地部署与实验场景。

快速上手

1. 安装：pip install airllm。
2. 初始化：创建 AirLLMLlama2 实例，传入 HuggingFace 仓库 ID 或本地模型路径，可选 layer_shards_saving_path 指定分片保存位置。
3. 推理：像使用普通 transformers 模型一样调用即可，首次运行会做层切分并缓存。
4. 调优：按可用显存调整并发与上下文长度；需要微调时启用训练接口，让冻结权重流式加载、只训练适配器。

适用人群

只有消费级显卡却想跑大模型的个人开发者与研究者；在无独显服务器或边缘设备上做本地推理的工程师；需要低成本微调大模型的小团队；高校与实验室的教学与实验场景。