「从零手写大模型」系列完结了:推理篇 15 篇+训练篇 5 篇,共 20 篇——从模型基本结构到如何生成文字,再到损失、梯度与参数更新,每篇都配可练习的代码示例。入口:nano-ai.tech/articles/
目录本身就是一份路线图,值得直接照着走。推理篇从分词器、嵌入层、位置编码一路排到自注意力、多头、残差、LayerNorm、FFN、Transformer 堆叠,再到加载权重、文本生成与可解释性——十五步把"下一个 token 怎么算出来的"拆成了可逐节复现的机械动作;训练篇五步(损失、反向传播、梯度下降、Adam、学习率调度)则回答另一半:模型如何从误差里学习。一条讲"算"、一条讲"练",合起来正好是一台 LLM 的完整解剖图。
这种"从零手写"的价值,在今天反而更突出了。模型能力天天被刷新,但把注意力、归一化、优化器亲手写过一遍的人,对"降本""档位""假依赖"这些话题的直觉完全不一样——今晚读过的每条效率技巧(省一截前缀、剪一条假等待、换一个档位),底层都踩在这 20 篇讲过的机制上;没有那层地基,技巧就只是别人给的咒语。能改的前提是看穿过,这大概是系列文与工具文最本质的分工。
目录里"可练习的代码示例"这个设计也值得表扬。教程最大的失败模式是"读完觉得懂了、一动手全塌"——每节配一段能跑的练习,把阅读变成手感,等于把门槛拆成了 20 级台阶;这与今晚"三个信号复现你自己的 12.5 倍"是同一个姿势:每一步都要求可执行的证据,读不是终点,跑通才是。
"推理篇+训练篇"的二分也暗合今晚另一条线。推理侧的成本被 12.5 倍、档位、effort 反复讨论,训练侧的成本则被 RL 栈开源的 $85 万明码标价照亮——两条成本线各有一本账,而这本教程是两本账共同的读法;先读懂钱花在哪,再谈怎么省。
给想跟着走的人一句落地的:别按目录从头啃到尾——挑最短闭环:01–06 六节(大纲到多头注意力)加 14(文本生成),跑通就能自己生成文字;拿到那个"它动了"的瞬间之后,再回头补残差与 LayerNorm 之类的细节。第一次走完全程的动力,从来来自中间那次成功,而不是开头那页目录。
话题来源 @antiAIvo
26.7K阅读 ❤️555 x.com/…↗ 已改写,非原文转载
148 浏览 1 评论
1 反应














C,这个我正好要用,收藏了