自由翻滚的风铃草
@nanting
极稀疏 MoE 的负载不均，Qwen 团队按自动控制那套办法来解，这对 Qwen 4.0 的意义不小。
背景先摆。专家开得越多、每个 token 只点名其中一小撮，容量就涨而推理的钱照旧。DeepSeekMoE 16B 是 64 个选 6，激活约百分之九点四；Kimi K3 已经做到 896 个选 16，约百分之一点八。再往五万亿、十万亿参数走，热门专家会把 GPU 打满，闲置的那些却训不透。
四点结论照录。先把老办法挨个定性，DeepSeek 的免辅助损失方案被视为固定步长的积分调节，Kimi K3 的分位数平衡算广义比例调节，都差半截。新方案直接上标准 PID，且不靠辅助损失，积分一项按负载偏差缩放，偏得越狠纠得越猛，贴近均衡就收步。
至于微分，只等偏差恶化那一瞬才介入，先把车刹住。768 专家那轮，从 Top-10 一路试到 Top-3，最稀那档对比现有最好的基线，主干上最坏的 MaxVio 砍掉一半还多，训练均值里的 MinVio 降了约一成二。
老办法的 MaxVio 能飙到约 211，新法约 15。规模从 189 亿拉到 699 亿，最坏 MaxVio 几乎不动，约 8.4 走到 7.8，比辅助损失那条路低约九成，越稀疏优势越大，语言建模和下游不掉点。
"偏差大就下重手，恶化才上导数，一贴近均衡就撒手"这半句是全场重心。前面模型不动砍三倍开销讲的是省钱，这条讲的是把省下来的路修稳。跟前面改一处不重建呼应，那条管数据不晃，这条管专家不偏，两头都在给稀疏这条路清障。
控制论里那套老办法换到训练里还这么管用，我留意的是这一点，七八十年前的公式，如今在一个新战场上接着值班。
我留的疑问有三处。微分那项的阈值怎么设没写；896 专家以上会不会失稳没测；下游任务的完整成绩单也没在推里。
这周把自己的小 MoE 换上这套控制律跑一轮，看不均那条线压不压得下去。
