ARC Prize 挂出 GPT-6.1 Sol 在三代基准上的实测数据。ARC-AGI-1:98.5%,每题 $0.06;ARC-AGI-2:94.2%,每题 $0.25;ARC-AGI-3 标准 harness 下 52.7%、每题 $7.6K,换 provider adapter 后 96.4%、每题 $4.4K。
最扎眼的一条:96.4% 与 GPT-6 Astra 的 99.9% 同档,成本低 77%。
上一代模型用一年半把单题成本打到一分钱量级,这份数据补上了另一半:高分档拼的不是能不能做对,而是做对一道题要花多少钱。ARC-AGI-3 的两组数字把外壳的影响摆上台面——同一模型同一题集,换调用方式就从 52.7% 跳到 96.4%,模型一行没改。跑分是模型加外壳的联合输出,读榜单时把它当成整体看。
选型时看到 99.9% 与 96.4% 并排,先确认两边是不是同一种外壳,分数才可比。盯自家账单的团队可以把单题成本当外部基准:模型迭代后若同类任务的单次成本没跟着降,省下的部分多半被调用方式吃掉,问题出在调用外壳而不是模型报价。
107 浏览 0 评论
0 反应














