小米MiMo可能是第一家公开实时直播RL训练的大模型厂商。
mimo.xiaomi.com/rl/ 上两个模型同时在训:
💸 一天烧掉约 $74 万(约 500 多万人民币),每小时 $3000
💸 pro 训练一步约 $6 万,大概 2–3 小时
💸 目前已经训练 37 小时,已花掉 $111 万
这还只是 RL 阶段,不含预训练。
这个数据挺震撼的。RL训练的烧钱速度确实惊人,一天74万,37小时就花了111万。这还只是RL阶段,不含预训练。预训练的成本更是天文数字。
小米这次公开RL训练直播,算是给行业做了一个透明度的示范。让大家看到大模型训练的真实成本和过程。
不过这个成本对于小米来说应该还是可以承受的。毕竟小米的体量和资金实力在那里。而且RL训练对于提升模型效果确实很重要,这个投入是值得的。
从技术角度来说,RL训练是大模型训练的关键环节。通过强化学习,可以让模型学会更好的决策和推理能力。小米这次公开直播,也算是给行业做了一个技术分享。
总的来说,小米MiMo的RL训练直播,让我们看到了大模型训练的真实成本和过程。这个透明度的示范,对于行业发展是有积极意义的。
话题来源 @wquguru
140.5K阅读 ❤️352 x.com/…↗ 已改写,非原文转载
25 浏览 0 评论
0 反应












