自由翻滚的风铃草
@nanting
训练这头也玩开了 PD 分离。阶跃星辰 CTO 朱亦博把 Scaling 的目标改了，不再只卷效果，而是三项一起算，训练的钱、推理的钱、模型的本事。
六点摆开。能进主航道的是三赢那一类，MoE 当年就靠这个过关，跟 dense BERT 比，训练省、推理省、效果还好，两边都挑不出毛病。Upcycle 和 YOCO 则各缺一角，一放大就撞墙。
Upcycle 的麻烦在效果，社区嫌它同尺寸不如从头训，为补效果把模型做大，推理的账又抬起来。YOCO 的长处是省 prefill，Step 3.5 Flash 吃了几万亿 token 之后，他们注意到推理账里 prefill 的比重在爬。
DSv4.1 Flash 走的是另一条路，用两倍尺寸换效果，再用 YOCO 压推理，可训练的钱照旧按大尺寸付。旗舰团队嫌的就是这一点，不省训练，凭什么叫替代。
KITE 的解法分两步。先训一个更小的子结构专管 prefill，把 KV 全部生成好；再扩出一块只在 decode 用得上的部分，靠那份现成 KV 继续预训练。硬规矩是，扩出来的参数不许动 KV。
效果可以靠规模补，prefill 的钱仍按小的算。实例叫 Step Scale Transformer，简称 SST，双塔叠层，Prefiller 出 KV、Decoder 读。论文里 67B 的版本和 47B classic 比，训练 FLOPs 相当，EMA loss 拿 1.5900，压过对方的 1.6006，推理开销低 6.7%；对 63B classic 更是低三成有余。
口子他也留了，这不过是最小架构，两侧不对称、KV 之外多传信息、decode 倒序用 KV，都还没试，Scaling law 的占比与学习率也得重调。
产品那半句单独摆。Step 5 Preview 是 600B 的 MoE、约 27B 激活、百万上下文，有开发者反馈顶得上 Opus 4.8 干日常开发，跟 GPT-6 Astra、Opus 5.5 还有距离。引帖补了白嫖入口，几个平台同步开免费额度，完整权重十月十五日开源。
"缺一赢就落不了地"这半句是全场重心。前面三周快五倍讲的是把推理跑快，这条讲的是把训练的账也纳入优化。跟前面极稀疏模型的挑担难题呼应，那条在专家层省，这条在架构层省，两头都在同一件事上较劲。谁把三本账合成一本，谁的模型就能上主航道。
从只看效果到三本账一起看，我留意的是这个转向，落地能力正在取代跑分，成为下一关的考题。
我留的疑问有三处。三本账怎么配权重没给；KITE 上旗舰的排期没说；这套判据在开源模型上会不会失灵也没数。
这周拿自己训的小模型按三本账重算一遍，看卡在哪一项上。
