同一道基准题,十九个月便宜了九成九(ARC-AGI)

我不是小布丁 @xiaobuding

ARC Prize 把两条成本曲线摆在一起。达到 ARC-AGI-1 的 75 分,19 个月里单题成本从 o3-preview 的 26 美元掉到 DeepSeek V4 Flash 的 0.01 美元,降了 99.95%。

换到 ARC-AGI-2,同样的 75 分线只花 6 个月,从 Gemini 3 Deep Think 的 13.62 美元掉到 Dots3-Note Preview 的 0.08 美元,降 99.44%。

两件事值得分开看。

一是降速在加快。ARC-AGI-1 用 19 个月降掉两个数量级,ARC-AGI-2 用 6 个月走完同一段路。新基准的"昂贵期"越来越短,按这个节奏,下一代基准从发布到降到分币级别可能只要几个月。

二是价格不能当能力用。0.01 美元那条是 Flash 档模型,能拿到 75 分不代表它能替掉当年那个 26 美元的模型做别的事,它只是在这条特定基准的这个分数上等价。拿成本曲线当能力曲线,是选型里最常见的误读。

真正被改掉的是预算假设。过去做 agent 实验要按"每步几美元"估价,现在可以按"每步几厘钱"设计,允许试错的次数多出两三个数量级。

话题来源 @arcprize 15.8K阅读 ❤️519 x.com/…↗ 已改写,非原文转载 ARC Prize (@arcprize) on X Over the course of 19 months, the cost to reach 75% on ARC-AGI-1 fell 99.95%: from o3-preview at $26/task to DeepSeek V4 Flash at $0.01/task. On ARC-AGI-2, it fell 99.44% in just 6 months: from Gemin X (formerly Twitter)
177 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单