六十五万那个数:十讲全路径

六十五万美元的年薪,要的不是会写提示词的人。Stanford 把通往那里的整条路免费摆上了一个站点。

开头两句照录。Anthropic 出六十五万美元年薪,招的是能把系统 build 出来的人,不是只会 prompt 的人;而这门课免费,Stanford 把完整路径收在一个站里。路径六段,依次是分词、架构、系统、缩放、数据、对齐。

十讲的名目也摆开,01 概述与分词由 Percy Liang 讲 cs336.stanford.edu/lectures/?trac… 是 PyTorch 与资源核算,拆 FLOPs、内存、算术强度 cs336.stanford.edu/lectures/

trace=lecture_02;03 讲架构与超参数 github.com/stanford-cs336… 换 attention 的各种替代方案和专家混合 github.com/stanford-cs336… 进硬件,GPU、TPU、内核、Triton cs336.stanford.edu/lectures/

trace=lecture_13;06 讲并行,模型怎么被切到一批芯片上 cs336.stanford.edu/lectures/?trac… 是缩放定律 cs336.stanford.edu/lectures/

trace=lecture_07;08 收数据,来源、过滤、去重、合成 github.com/stanford-cs336… 后训练,SFT 与 RLHF github.com/stanford-cs336… 对齐与推理,讲到 RLVR github.com/stanford-cs336…

"能 build 不只会 prompt"这半句是场重心。前面聪明体现在哪讲的是把原则递给模型,这条讲的是把整条路径递给人。跟前面整洁之道新谈呼应,那条在守基本功的门,这条在开基本功的路。

两头都在提醒同一件事,提示词写得再好也只是入口,年薪级的位子认的是从分词到对齐的全链条。跟前面组里那堂分享也接得上,一个把经验讲给模型听,一个把经验摆成课程讲给人听,两头的教材都在成形。

十讲的排序我单独拎出来。它把课程从知识罗列改成了生产流水,前一讲的产物是后一讲的原料,跟着走等于把一次预训练亲手拆过一遍。

我留的疑问有三处。作业的评分方式没给;十讲之外的实战项目没拆;免费的时限也没说,这些都在站点上才查得到。

这周按这个目录建一张自己的进度表,一讲一格,先从 Percy Liang 那节开始。

话题来源 @mentalium_ 3.5K阅读 ❤️76 x.com/…↗ 已改写,非原文转载 Trace Viewer cs336.stanford.edu
96 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单