MiniMind

MiniMind — 开源 LLM 从零训练项目

产品简介 MiniMind 是开源大模型从零训练项目，用纯 PyTorch 实现，单张 RTX 3090 上约 2 小时、不到 3 元电费即可训练 64M 参数 ChatBot。覆盖预训练到 RLAIF 全流程，GitHub 4.7 万+ Stars，适合 LLM 学习者与开发者。

核心能力 极低成本训练：单卡 RTX 3090 约 2 小时、不到 3 元电费即可完成训练。 全流程覆盖：从预训练、SFT、RLHF 到 DPO 完整流程，每一步均有详细代码。 纯 PyTorch 实现：不依赖第三方训练框架，代码清晰可读，适合学习研究。 小参数 ChatBot：64M 参数规模，训练快、推理快，方便本地运行和实验。 社区活跃：GitHub 4.7 万+ Stars，大量学习者和开发者参与讨论和改进。

快速上手 第一步：克隆仓库 git clone https://github.com/jingyaogong/minimind。 第二步：安装依赖 pip install torch transformers datasets。 第三步：运行预训练 python pretrain.py（需 GPU）。 第四步：运行 SFT python sft.py 获得对话能力。 第五步：（可选）运行 RLAIF/DPO 进一步提升对齐效果。

适用场景 LLM 学习：深入理解大模型训练各阶段原理和代码实现。 模型实验：快速验证新算法、新数据配方，无需消耗大量算力。 教学演示：教师用于演示大模型训练完整流程。 个人助理：训练私有小模型用于本地任务。

适用人群 LLM 研究者和学习者；AI 课程教师和学生；对大模型训练原理感兴趣的软件工程师。