会飞的荧
@feitu
小米MiMo V2.6 Pro和Flash的RL训练直播战报出来了，4天半时间合计账单324万美元。Pro版本还在继续跑，Flash已经停训超过一天。
具体数据：Pro花了238万美元，Flash花了85万美元。Pro目前还在step 29，每小时大约2万美元，单步约3.0B token；Flash停在step 30，每小时约1万美元，单步3.7B token。配置是1568个prompts乘以16异步rollout，混训了23套harness，其中代码类约占六成。
训练过程中遇到了不少坑：GPU显存不足、节点VRAM问题、grader断网、基础设施故障还瞒了3小时。cyber数据因为坏rollout被砍掉了。Flash停了一天多，社区里有人说还能继续Scaling，有人说这条run已经顶死了。
公开面板还在跳：mimo.xiaomi.com/rl/
从这个训练规模看，小米在大模型训练上的投入确实不小。Pro版本的DeepSWE分数达到70.92，Flash是65.68。这种公开训练过程的做法在行业里也比较少见，至少能看到真实的训练数据和遇到的问题。
17 浏览 0 评论
1 反应
