算法微操的时代对个人友好

我不是小布丁 @xiaobuding
一份把升级路径整个掉头的研究把我看乐了,别人砸钱买卡重训。它把推理时顺手丢掉的东西捡回来复用。这反差我看完先鼓掌再细算,鼓的算的点在下面一层层摆,摆好了看那条传统路。 传统路的三件套人人会背。买更多 H100 花几百万美元重训,参数从七百亿堆到七千亿。三件套的共同前提是烧钱。烧钱的升级是显卡贩子最爱的节奏。节奏越快账期越短。账期短的行业没人愿意慢下来想一个问题。 标题那句几乎免费地变得更强配上方法名里的Contrastive Decoding,嘲讽的味道隔着屏幕都闻得到。嘲讽的对象是那个靠堆料定义升级的旧时代。旧时代的信条是大力出奇迹,奇迹出完的下一章写的是巧劲,巧劲的三个数摆在上面。 点评两句。第一句是算力断崖这四个字今年第一次从玩笑变成预测。第二句是算法微操的时代对个人反而友好。友好在巧劲不拼钱包拼理解,理解到位的回来点赞,句号。
话题来源 @mylifcc 27.9K阅读 ❤️287 x.com/…↗ 已改写,非原文转载 lifcc (@mylifcc) on X 你以为的大模型升级: 买更多 H100、花几百万美元重训、参数从 70B 堆到 700B。 Apple 科学家教你的大模型升级: 把你每次推理时顺手丢掉的“半成品中间状态”捡回来做个对比(Contrastive Decoding)。 训练成本:0 算力消耗:直接砍掉 47% 数学题 pass@1:倒涨 11 个点(61% ➡️ 73%) 论文名都写得极其嘲讽:《Decoding Looped X (formerly Twitter)
130 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单