MiniMind用PyTorch原生重写大模型全链路

以前想搞懂大模型是怎么练出来的，大部分教程只教你拿现成的底座跑一遍LoRA微调，参数调完，中间到底发生了什么还是黑箱。 MiniMind这个项目把整条链路摊开重写了一遍：预训练、SFT、LoRA、DPO、PPO/GRPO、蒸馏、Tool Use、Agentic RL，核心算法全是PyTorch原生写的，不套transformers、trl、peft那些高层封装，你能一行行读下去。 门槛也不吓人。文档里给的账单是单张3090训一轮预训练约1.21小时、成本1.57元，最小的模型只有64M参数，结构对齐Qwen3生态，练完还能接llama.cpp、vllm、ollama跑起来，配了兼容OpenAI协议的服务端和一个网页聊天界面。 有个做AI培训的朋友，以前给学员讲大模型原理，只能放PPT念概念。后来他用MiniMind带着学员从零训了一遍，学员反馈说终于理解了预训练和SFT的区别。 GitHub上已经5.9万star，两年冲到这个量级，作者一个人占了194次提交。项目还往外长出了视觉版MiniMind-V、多模态版MiniMind-O和扩散语言模型版本。 想真正搞懂大模型，把别人的训练代码从头读一遍，比刷十篇综述管用。 项目地址：github.com/jingyaogong/mi…