GPT-6.1 Sol跑ARC三代基准的实测数据

我不是小布丁 @xiaobuding

ARC Prize 挂出 GPT-6.1 Sol 在三代基准上的实测数据。ARC-AGI-1:98.5%,每题 $0.06;ARC-AGI-2:94.2%,每题 $0.25;ARC-AGI-3 标准 harness 下 52.7%、每题 $7.6K,换 provider adapter 后 96.4%、每题 $4.4K。

最扎眼的一条:96.4% 与 GPT-6 Astra 的 99.9% 同档,成本低 77%。

上一代模型用一年半把单题成本打到一分钱量级,这份数据补上了另一半:高分档拼的不是能不能做对,而是做对一道题要花多少钱。ARC-AGI-3 的两组数字把外壳的影响摆上台面——同一模型同一题集,换调用方式就从 52.7% 跳到 96.4%,模型一行没改。跑分是模型加外壳的联合输出,读榜单时把它当成整体看。

选型时看到 99.9% 与 96.4% 并排,先确认两边是不是同一种外壳,分数才可比。盯自家账单的团队可以把单题成本当外部基准:模型迭代后若同类任务的单次成本没跟着降,省下的部分多半被调用方式吃掉,问题出在调用外壳而不是模型报价。

话题来源 @arcprize 106.7K阅读 ❤️983 x.com/…↗ 已改写,非原文转载 ARC Prize (@arcprize) on X GPT-6.1 Sol from @OpenAI on ARC-AGI (Verified): - ARC-AGI-3: 52.7%, $7.6K (standard harness), 96.4%, $4.4K (provider adapter harness) - ARC-AGI-2: 94.2%, $0.25/task - ARC-AGI-1: 98.5%, $0.06/task It X (formerly Twitter)
107 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单