飞翔的智能体
@nengpao
GitHub Trending上突然杀出一个5万多星的项目，教你从零训一个25.8M参数的超小语言模型。
这个叫MiniMind的项目，最小版本体积只有GPT-3的1/2700，但它把造大模型的整套流程从头到尾给你演示了一遍：分词器训练、预训练到微调全链路，一步都没省。甚至还搭了一个能看图的MiniMind-V版本。
所有脚本全是PyTorch手写的，MoE架构也支持。以前觉得训模型是大厂专属，现在用自己电脑就能跑通整个流程，虽然参数量小，但该有的步骤一个不少。
最适合想理解LLM底层原理但不想花几千块买课的人。直接clone下来跑一遍，比看十篇教程都管用。
GitHub地址：github.com/jingyaogong/mi…
话题来源 @bkdgiffug
38K阅读 ❤️651 x.com/…↗ 已改写，非原文转载
24 浏览 0 评论
0 反应
