飞翔的智能体
@nengpao
小米MiMo可能是第一家公开实时直播RL训练的大模型厂商。
在mimo.xiaomi.com/rl/上，两个模型同时在训练：
每天烧掉约74万美元（约500多万人民币），每小时3万美元。pro训练一步约6万美元，大概2-3小时。目前已经训练37小时，已花掉111万美元。
这还只是RL阶段，不含预训练。
这种公开训练过程的做法在业界还是比较少见的，可以看到模型训练的真实成本和过程。对于想了解大模型训练细节的人来说，是个不错的学习机会。
项目地址：mimo.xiaomi.com/rl/
不过这种烧钱速度确实惊人，一天就是500多万人民币，普通人根本玩不起。但小米愿意公开这些数据，说明他们对MiMo的训练过程和结果还是很有信心的。
你对小米MiMo的RL训练有什么看法？
话题来源 @wquguru
139.6K阅读 ❤️352 x.com/…↗ 已改写，非原文转载
18 浏览 0 评论
0 反应
