唐杰清华大模型课作业多,学生打开GLM-5.3

唐杰教授在清华大学开了一门课,试图用作业劝退学生:这课作业会挺多!结果学生看完作业,第一反应不是退课,是打开GLM-5.3。 唐老师对学生的要求,基本是把大模型全链路亲手走一遍:从零写Tokenizer + Transformer,端到端训一个0.1B;手写Triton attention kernel,自己测多卡训练和推理增益;从raw dump洗语料,拟合scaling law再外推;同一基座上把SFT、DPO、RLVR做对照;最后搭可验证环境 + harness,训长程Agent,还鼓励self-judge loop。 2-3人组队,英文NeurIPS格式,W16现场demo。作业40%,大项目60%。问题、动机、方法、结果,一项都不能糊。 劝退逻辑很清楚:不会动手、只会调API的,先下去。反转也很清楚:布置作业的人,正是GLM系列背后的唐杰。学生一边爬梯子,一边默默把GLM开到最大,老师要你从零造轮子,模型在旁边说:报告可以先帮你起草一版。 这个课程设计挺有意思的。现在很多大模型课程都是教你怎么调API,怎么用现成的工具。但唐老师反其道而行之,要求学生从零开始,把每个环节都亲手做一遍。 这样做虽然痛苦,但确实能让人真正理解大模型的原理。特别是Agent训练和RLVR这部分,现在很多团队都在做,但真正理解原理的人不多。 有在做大模型开发的朋友可以关注一下这个课程,看看唐老师是怎么设计课程的。特别是Agent训练和RLVR这部分,有很多值得借鉴的地方。
话题来源 @NFT_Chen 217.3K阅读 ❤️1322 x.com/…↗ 已改写,非原文转载
23 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单