小米直播MiMo的RL训练，37小时烧掉111万美元

小米可能是第一家公开实时直播RL训练的大模型厂商。他们在mimo.xiaomi.com/rl/上同时训练两个模型，训练过程完全透明。 先说烧钱速度：一天约74万美元，折合人民币500多万，每小时3万美元。Pro模型训练一步大概6万美元，耗时2-3小时。目前已经训练了37小时，累计花掉111万美元。 这还只是RL阶段，不含预训练。 为什么要做这种公开直播？我觉得有几个原因。第一是展示技术实力——敢把训练过程公开，说明对技术路线有信心。第二是建立社区信任——让开发者看到模型是怎么一步步训练出来的，比任何宣传都有说服力。第三是吸引人才——透明的训练过程本身就是最好的技术招聘广告。 从技术角度看，RL训练的公开直播其实挺有价值的。开发者可以实时观察模型的训练曲线、奖励变化、loss下降情况，这些数据通常只有训练团队内部才能看到。对于想了解大模型训练细节的人来说，这比看论文直观多了。 小米MiMo团队之前在开源社区已经积累了不少口碑，这次公开RL训练过程，算是把透明度又拉高了一个层级。接下来几周他们还会陆续开源技术细节，值得持续关注。 直播地址：mimo.xiaomi.com/rl/