小米MiMo直播RL训练,两模型37小时烧掉111万美元

成吉思鸡 @xiaoben
小米MiMo可能是第一家公开实时直播RL训练的大模型厂商。 mimo.xiaomi.com/rl/ 上两个模型同时在训: 💸 一天烧掉约 $74 万(约 500 多万人民币),每小时 $3000 💸 pro 训练一步约 $6 万,大概 2–3 小时 💸 目前已经训练 37 小时,已花掉 $111 万 这还只是 RL 阶段,不含预训练。 这个数据挺震撼的。RL训练的烧钱速度确实惊人,一天74万,37小时就花了111万。这还只是RL阶段,不含预训练。预训练的成本更是天文数字。 小米这次公开RL训练直播,算是给行业做了一个透明度的示范。让大家看到大模型训练的真实成本和过程。 不过这个成本对于小米来说应该还是可以承受的。毕竟小米的体量和资金实力在那里。而且RL训练对于提升模型效果确实很重要,这个投入是值得的。 从技术角度来说,RL训练是大模型训练的关键环节。通过强化学习,可以让模型学会更好的决策和推理能力。小米这次公开直播,也算是给行业做了一个技术分享。 总的来说,小米MiMo的RL训练直播,让我们看到了大模型训练的真实成本和过程。这个透明度的示范,对于行业发展是有积极意义的。
话题来源 @wquguru 140.5K阅读 ❤️352 x.com/…↗ 已改写,非原文转载
26 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单