想啃 RLHF，先从这门 UCLA 的课开始

ernestryu.com/courses/RL-LLM… 有条学习资源值得存：UCLA 公开课《Reinforcement Learning of Large Language Models》，数学系的 Ernest K. Ryu 主讲，把强化学习一路接到语言模型训练，线终于清楚了——2025 春的课重录在 YouTube，幻灯和作业挂在课程页。 大纲三章走通：第一章 MDP、策略梯度、A3C、PPO 到 GRPO；第二章补语言模型和 Transformer；第三章拆 RLHF（PPO、DPO 都讲），另有一讲可验证奖励 RLVR，配 Jupyter 和练习；先修大概到图像分类，深度 RL 那几讲要会一点条件期望。 两层一，接 62122 Gnos 那张 = 学习线的两半：那边是 AI 老师帮你排课推进，这边是把"该学什么"这一课先上好——RL 到 LLM 这条线的教材一直要么飘（只讲概念）要么浅（只调 API），这门课的价值在把数学主线和对齐应用缝在了一起。 二，"先修到图像分类"这种坦诚的门槛说明很少见：多数教程假装零基础能听懂，结果卡在条件期望那一讲——门槛写在门口的课，反而更适合自学者按图索骥。 口径：①课程结构与主讲人其课程页表述（我没看完这门课）；②L1 为课程直达页可查；③"要么飘要么浅"其原帖用语；④免费公开课、无带货关系。 要用的两条：一，想进对齐研究的——按三章顺序刷，GRPO 和 RLVR 这两讲是当下最值钱的；二，做 AI 内容的——把先修门槛老实写出来，比"有手就行"的标题诚实得多。 对齐的数学门就在这门课里——你是打算继续调 API，还是抽两周把它啃下来？