74,721 颗星、ACL 2024 收录、被 AWS/NVIDIA 直接用在生产环境：LlamaFactory 现在什么样了

LlamaFactory：74,721 颗星背后，那个把大模型微调变成「改 YAML」的框架现在什么样了

2024 年 3 月，hiyouga 在 GitHub 上传了一个项目，README 第一句话是：「Fine-tuning a large language model can be easy as…」，然后配了一个不到 30 秒的训练启动动画。三年过去，这个项目拿到了 74,721 颗 GitHub 星，被 Amazon、NVIDIA、Aliyun 的工程师直接用在生产环境里，论文进了 ACL 2024 Demo Track，引用超过 1000 次。

LlamaFactory 现在的定位已经不只是「一个微调工具」，它更像是大模型微调领域的「一站式操作系统」——从选模型、配数据、调参数、训练、评测到部署，全部可以在一个框架里完成，而且不需要写一行代码。

100+ 模型覆盖，这是真正的壁垒

LlamaFactory 支持 100+ 大语言模型和多模态模型，涵盖 LLaMA 全系列、Qwen 全系列、DeepSeek、GLM、 Gemma、Mistral、ChatGLM、Phi、Baichuan、Yi、InternLM，以及 LLaVA、Qwen-VL、InternVL 等视觉-语言模型。

这不是简单的「支持列表」——每次新模型发布，LlamaFactory 团队基本能在 Day 0 或 Day 1 提供支持。2025 年 4 月 28 日 Qwen3 发布当天，LlamaFactory 就已支持；Llama 4 在 2025 年 4 月 6 日发布，同一天就出现在 LlamaFactory 的支持列表里。这种跟进速度，靠的是项目维护者对每个模型架构的深度适配，而非简单调用 Hugging Face 的 AutoModel API。

硬件门槛：一张消费级显卡就能跑

LlamaFactory 最有价值的设计是它的「量化-效率」矩阵。不同规模的模型配合不同的微调方法，硬件需求差异极大：

• 7B 模型 QLoRA 4-bit：6GB 显存，一张 RTX 3060 就能跑
• 7B 模型 LoRA bf16：16GB 显存，RTX 4090 够用
• 7B 模型全量 bf16：60GB 显存，需要 A100
• 70B 模型 QLoRA 4-bit：48GB 显存，两张 RTX 4090 勉强能跑
• 70B 模型 FSDP + QLoRA：2×24GB，两张消费级卡可训练

这意味着大多数团队不需要采购云端 GPU 集群，用自己桌上的工作站就能完成模型定制化训练。对比一下：直接调用 OpenAI o1-pro 的价格是 $150/M 输入 token、$600/M 输出 token，而 LlamaFactory 完全免费——唯一的成本是电费。

不只是 LoRA：8 种训练范式全覆盖

LlamaFactory 区别于其他微调框架的关键，在于它对训练目标的完整覆盖：

• 预训练（Continue Pre-training）：在领域语料上继续训练基础模型
• SFT（监督微调）：标准的指令微调
• DPO：直接偏好优化，不需要奖励模型
• KTO：Kahneman-Tversky 优化，对齐人类偏好
• ORPO：Odds Ratio Preference Optimization
• PPO：近端策略优化，经典 RLHF
• SimPO：简化版偏好优化
• Agent Tuning：智能体任务微调

在算法层面，它支持 LoRA、QLoRA、DoRA（权重分解 LoRA）、PiSSA（主奇异值适配）、GaLore（梯度低秩投影）、BAdam、LoRA+、LongLoRA、Freeze-tuning 等十余种参数高效微调方法。简单来说：如果你在论文里看到一个新的微调算法，大概率可以在 LlamaFactory 里直接用上。

官方基准测试显示，对比 ChatGLM 的 P-Tuning，LlamaFactory 的 LoRA 在广告文案生成任务上快了 3.7 倍，Rouge 分数还更高。集成 Unsloth 优化后，LoRA 训练速度可以再提升 2-5 倍。

LlamaBoard：不用写代码，也能微调

LlamaFactory 自带一个基于 Gradio 的 Web UI，品牌名 LlamaBoard。打开方式极其简单：

llamafactory-cli webui

浏览器里就会出现一个可视化界面，可以选择模型、上传数据集、配置 LoRA 参数、调整学习率和 batch size、实时监控 loss 曲线和 GPU 利用率，最后直接导出合并后的模型或者独立的 LoRA 适配器。

这个 Web UI 的意义不只是降低入门门槛——它本质上是一个实验管理界面。对于需要对比多个模型/数据集/超参组合的研究团队，LlamaBoard 比手写 YAML 然后跑脚本要直观得多。

部署：接上 vLLM 就是生产级 API

微调完了要跑推理，LlamaFactory 提供了两条路：

一条是直接用自带的 Gradio UI 测试推理；另一条是通过 llamafactory-cli api 启动一个 OpenAI 兼容的 API 服务器，配合 vLLM 或 SGLang 作为推理后端，就是一个完整的生产级推理服务。

从 2025 年 Q2 开始，LlamaFactory 的 RLHF 管线（PPO + DPO + KTO + ORPO + SimPO）已经达到了功能完备状态。这意味着你可以用它训练出一个真正对齐的模型，然后直接部署。

不适合谁

有几个场景 LlamaFactory 不是最优解：

如果你只需要推理不想训练，直接用 vLLM 或 Ollama 更快，不需要绕道 LlamaFactory。如果你在做超大规模预训练（千卡级别、PB 级数据），LlamaFactory 的训练架构不够底层，需要 Megatron-LM 或 DeepSpeed。如果你对延迟要求极高（P99 < 100ms），LlamaFactory 训练框架的推理部分不是为极致低延迟设计的，需要专用的推理引擎。如果你的团队没有 ML 工程能力，LlamaFactory 已经是同类中门槛最低的之一了，但如果连 Python 环境都搭不起来，托管微调服务（OpenAI Fine-Tuning API）可能更合适。

真实使用建议

第一步不是装框架，而是先去 Hugging Face Spaces 体验 LlamaBoard 的 Demo（huggingface.co/spaces/hiyouga/LLaMA-Board），感受一下哪些参数在控制什么。

如果决定本地跑，Colab 免费版已经够测试 7B 模型的 QLoRA，官方提供了现成的 Notebook（colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9）。生产级训练建议用 Lambda Labs、RunPod 或 Modal 这些有 GPU 实例的平台，QLoRA 跑 7B 模型每小时成本大约 $0.5。

数据集格式上，LlamaFactory 有标准的中文 instruction-following 格式规范，如果你的数据是 JSON Lines 或 CSV，需要在 dataset_info.json 里做字段映射。好在官方提供了十几个预置模板，examples/ 目录下有覆盖大多数模型和训练方法的 YAML 文件，改 3-4 行就能跑自己的实验。

项目边界小结

LlamaFactory 解决的是「如何高效地把一个通用大模型变成领域专用模型」这个问题。它不是一个推理框架，不是一个预训练框架，也不适合完全没有 GPU 的场景。它的核心价值是：用一个框架覆盖了微调这件事从入门到生产的全链路，且对主流模型的跟进速度比任何商业产品都快。

GitHub: https://github.com/hiyouga/LlamaFactory
官网: https://blog.llamafactory.net
文档: https://llamafactory.readthedocs.io
论文: arXiv:2403.13372（ACL 2024）