十轮之后开始发抖：RL token 的实账

一次真实的强化学习 token 实验，做到一半踩进了坑里，作者把过程原样摆了出来。 设置照论文那样，只在关键环节也就是插入那步激活 RLT 网络。头几轮 rollouts 效果还算过得去。问题出在十轮更新之后，策略变得很抖，视频里能直接看见那股抽搐。 作者给了两个候选原因。一是为了探索注入的噪声，二是残留策略的正则不够强。他同时留了个疑问，噪声注入按理在头几轮就该显出抖来，为什么偏偏是第十轮往后？ 真正给对照的是关网络那一下。把 RLT 网络一关，换回没动过的 VLA 接管，动作立刻平滑，插入件干干净净地进去。 同套系统开关对照这半句我看重。前面几篇讲的都是模型侧的账，这里落在机械手的抖动上。一句"关掉就顺滑"把问题范围缩小到了网络本身，比泛泛抱怨模型不稳有用得多。跟前面疑错三步那篇也是同一路，先复现，再定位，最后归因。 他给的两个原因都还是猜。探索噪声和正则不足这两个方向得分开验，头轮不抖这个现象本身，对噪声假说是条反证。 做同类实验的把更新轮次拉到十轮前后各取一组，抖不抖对比着看，归因就清楚了。