一、Google “反扑”的里程碑

2026年10月15日,ARC Prize官方在X上公布:Gemini 4 Argon在ARC-AGI-3(被公认为“AGI终极考场”)上拿到97.5%。

关键背景:

  • 7个月前ARC-AGI-3刚发布时,所有前沿模型<1%
  • 现在Gemini 4 Argon 97.5%——七个月从”全员交白卷”到”接近满分”
  • Google是第二家>95%的AI实验室
  • 第一家是OpenAI GPT-6 Astra 99.9%

这是Google在AI前沿竞赛的“反扑”——2年来首次正式追平OpenAI/Anthropic。

二、3代ARC-AGI基准全通杀

Gemini 4 Argon的3代基准成绩:

基准 分数 成本/任务 总成本
ARC-AGI-1 98.5% $0.16 —
ARC-AGI-2 91.3% $0.32 —
ARC-AGI-3 97.5% — $4,800

3代全部>90%——“3代通杀”。

三、ARC-AGI-3是什么?

与传统AI基准不同:

  • 不是选择题、填空题
  • 是“交互式游戏环境“

具体设计:

  1. 模型被扔进完全陌生的小游戏
  2. 64×64的彩色格子
  3. 7个动作按钮——不告诉你按钮干嘛
  4. 没有说明书、没有预设指令、没人告诉模型目标

模型需要自己探索、自己猜规则、自己发现目标、自己规划怎么通关——

这考的是“面对从没见过的东西现学现会的本事”。

人类天生有这种能力——但AI最难的就是这个。

四、关键”caveat”——harness问题

关键争议:97.5%依赖Provider Adapter Harness——

对比不同测试环境:

测试环境 分数 差距
Provider Adapter Harness(vendor features) 97.5% —
Standard Harness(低推理) 49.8% -47.7pp
Standard Harness(中推理) 46.3% -51.2pp
Standard Harness(高推理) 未发布(API问题) —

97.5% vs 49.8% = 47.7pp差距!

含义:

  • OpenAI使用Responses API的retained reasoning + Compaction,97.5%
  • Standard Harness下,模型不能用这些vendor features,49.8%

这是OpenAI vs ARC Prize的方法论争议:

  • OpenAI:benchmarks不可避地测试技术环境
  • ARC Prize:Standard Harness是更公平的基准

五、5个独家角度

1. “七个月指数级进步”

时间线:

时间 Gemini ARC-AGI-3
2026-03(7个月前) Gemini 3.1 Pro <1%
2026-10-15 Gemini 4 Argon 97.5%

从<1%到97.5%——7个月——AI推理能力的”指数级进步”。

2. “Argon是Google的翻身牌”

Google过去2年:

  • Gemini 1.0/2.0:明显落后GPT-4/Opus
  • Gemini 3.0/3.5:逐步缩小差距
  • Gemini 4 Argon:追平GPT-6 Astra

关键:Argon 165 ECI vs GPT-6 Astra 166 vs Opus 5.5 167——3家并列前沿。

3. “AI发现科学” 第一次

10/15 Google同步公布:

  • 4个Argon agents在Minecraft from scratch in 27 hours(首次AI from scratch通关)
  • 帮助反驳60年Grad conjecture(stellarator fusion physics)(首次AI发现数学/物理猜想反例)

这是AI首次独立完成”发现”的科研任务——不只是”加速”,而是“主动发现”。

4. “harness争议”是AI评估的根本问题

三个层面的问题:

层面 问题
技术 vendor features不可比
商业 实验室用vendor features”作弊”?
学术 97.5% 真还是假?

2026年7月GPT-5.6 Sol vs Claude Opus 5的类似争议:

  • OpenAI Responses API: Sol 38.3%
  • Opus 5: 30.2%
  • Standard Harness: Sol 7.8%

两个模型没有在相同条件下测试——

ARC Prize的Mike Knoop后来允许共享API设置,但Argon在Standard Harness高推理下未能完成所有55个游戏。

5. “AI评估生态”未成熟

当下4个问题:

  • 评估依赖vendor features
  • 成本难估算($0.16/任务 vs $5,800测试)
  • 方法论不统一(Provider Adapter vs Standard)
  • 商业压力推动“刷榜”

这意味着AI基准需要“标准化”,类似芯片测试的标准化。

六、5个值得记住的关键事实

  • 披露时间:2026-10-15(ARC Prize官方)
  • ARC-AGI-3分数:97.5%(Provider Adapter Harness)
  • ARC-AGI-2/1:91.3% / 98.5%
  • Standard Harness:49.8%(low reasoning)
  • 成本:$4,800(97.5%测试)

七、5个常见疑问

Q1:97.5%和49.8%差47.7pp意味着什么?
2个含义:

  1. vendor features对评分的影响巨大
  2. ARC-AGI-3的“公平”基准需要统一

这是AI评估的“Benchmark Hacking”问题。

Q2:Google”反扑”OpenAI是真的吗?
3个数据:

  • Argon 165 ECI vs GPT-6 Astra 166 vs Opus 5.5 167
  • 3家并列前沿,差距1-2分

是真的——Google2年来首次在核心基准上追平。

Q3:为什么Minecraft和stellarator重要?
2个意义:

  1. AI首次主动发现科学猜想反例
  2. AI首次from scratch通关复杂游戏

AI正在从”工具”变成“研究者”。

Q4:对中国AI公司有什么影响?
三大影响:

  1. DeepSeek/智谱/Qwen需关注ARC-AGI-3
  2. 评估方法需要统一
  3. vendor features差异缩小

Q5:AI评估”标准化”什么时候能实现?
3个时间点:

  • 2027 H1:ARC Prize等组织推动统一
  • 2027 H2:国际标准可能发布
  • 2028:可能类似芯片的标准化测试

八、为什么这条值得收藏

Gemini 4 Argon ARC-AGI-3 97.5%是2026 Q4 AI前沿模型的关键里程碑。三个层面意义:

1. “Google反扑”完成

当Argon 165 ECI追平Astra 166:

  • 2年来首次Google正式追平OpenAI/Anthropic
  • 前沿模型从”2家”变成”3家“
  • OpenAI/Anthropic/Google的“3方对峙”

加上Meta Muse Wonder(10/13 68660)——4家前沿模型全部SOTA。

2. “AI发现科学”时代开启

当Gemini 4 Argon:

  • 反驳60年Grad conjecture
  • 在Minecraft from scratch in 27 hours
  • 在ARC-AGI-3 97.5%

AI正在从”加速工具”变成“主动研究者”。

3. “AI评估生态”未成熟

当97.5% vs 49.8% = 47.7pp差距:

  • AI基准需要“标准化”
  • vendor features需要透明化
  • 评测方法需要国际统一

这与AI芯片从”各家自己测试”到”标准化基准(MLPerf)”的发展类似。

对于AI从业者:

  • 关注AI基准方法论的“标准化”
  • 区分“真实能力“vs”刷榜“
  • 关注AI发现科学的具体案例

对于企业AI采购:

  • Google是新的前沿选择(不只是OpenAI/Anthropic)
  • 评估需考虑vendor features依赖
  • Google AI Ultra是首批客户的选择

对于投资观察者:

  • Google在AI前沿的估值可能提升
  • 3方对峙可能压制估值泡沫
  • AI评估是新的投资主题(MLPerf模式)

当Google Gemini 4 Argon用97.5%追平OpenAI GPT-6 Astra,AI前沿模型的2家对峙变成3方——2026 Q4,AI巨头的军备竞赛从”性能“进入”标准化“阶段。

📚 信息来源

  1. Dataist.ai 10/16:Gemini 4 Argon scores 97.5% on ARC-AGI-3, with a caveat(独家详细,harness对比)
  2. Digg 10/15:Argon is said to be the second model family to officially max out ARC-AGI-3(独家Mike Knoop引述)
  3. 网易/新智元 10/17:Gemini 4 Argon打穿AGI终极考场(独家中文深度分析)
  4. NewsTodAI 10/16:Google crosses 95% on ARC-AGI-3(独家Epoch AI ECI对比)
  5. TheClarity 10/16:Gemini 4 Argon falls from 97.5% to 49.8% once vendor features come off(独家Standard Harness详细)
  6. ARC Prize官方X 10/15(独家原始数据)

本文为编辑独立撰写的AI大模型分析。97.5%和49.8%数据均来自ARC Prize官方X 10/15(验证数据)。Standard Harness和Provider Adapter Harness是ARC Prize测试方法论术语。3代ARC-AGI分数(98.5%/91.3%/97.5%)来自官方。Epoch AI ECI(165/166/167)来自Epoch AI官方指数。Minecraft 27 hours+ Grads conjecture反驳来自10/15 Google官方公告(在aibriefing 10/18确认)。97.5% vs 49.8% = 47.7pp差距由ARC Prize官方公布。本文不构成任何投资或商业建议。