一、Google “反扑”的里程碑
2026年10月15日,ARC Prize官方在X上公布:Gemini 4 Argon在ARC-AGI-3(被公认为“AGI终极考场”)上拿到97.5%。
关键背景:
- 7个月前ARC-AGI-3刚发布时,所有前沿模型<1%
- 现在Gemini 4 Argon 97.5%——七个月从”全员交白卷”到”接近满分”
- Google是第二家>95%的AI实验室
- 第一家是OpenAI GPT-6 Astra 99.9%
这是Google在AI前沿竞赛的“反扑”——2年来首次正式追平OpenAI/Anthropic。
二、3代ARC-AGI基准全通杀
Gemini 4 Argon的3代基准成绩:
| 基准 | 分数 | 成本/任务 | 总成本 |
|---|---|---|---|
| ARC-AGI-1 | 98.5% | $0.16 | — |
| ARC-AGI-2 | 91.3% | $0.32 | — |
| ARC-AGI-3 | 97.5% | — | $4,800 |
3代全部>90%——“3代通杀”。
三、ARC-AGI-3是什么?
与传统AI基准不同:
- 不是选择题、填空题
- 是“交互式游戏环境“
具体设计:
- 模型被扔进完全陌生的小游戏
- 64×64的彩色格子
- 7个动作按钮——不告诉你按钮干嘛
- 没有说明书、没有预设指令、没人告诉模型目标
模型需要自己探索、自己猜规则、自己发现目标、自己规划怎么通关——
这考的是“面对从没见过的东西现学现会的本事”。
人类天生有这种能力——但AI最难的就是这个。
四、关键”caveat”——harness问题
关键争议:97.5%依赖Provider Adapter Harness——
对比不同测试环境:
| 测试环境 | 分数 | 差距 |
|---|---|---|
| Provider Adapter Harness(vendor features) | 97.5% | — |
| Standard Harness(低推理) | 49.8% | -47.7pp |
| Standard Harness(中推理) | 46.3% | -51.2pp |
| Standard Harness(高推理) | 未发布(API问题) | — |
97.5% vs 49.8% = 47.7pp差距!
含义:
- OpenAI使用Responses API的retained reasoning + Compaction,97.5%
- Standard Harness下,模型不能用这些vendor features,49.8%
这是OpenAI vs ARC Prize的方法论争议:
- OpenAI:benchmarks不可避地测试技术环境
- ARC Prize:Standard Harness是更公平的基准
五、5个独家角度
1. “七个月指数级进步”
时间线:
| 时间 | Gemini | ARC-AGI-3 |
|---|---|---|
| 2026-03(7个月前) | Gemini 3.1 Pro | <1% |
| 2026-10-15 | Gemini 4 Argon | 97.5% |
从<1%到97.5%——7个月——AI推理能力的”指数级进步”。
2. “Argon是Google的翻身牌”
Google过去2年:
- Gemini 1.0/2.0:明显落后GPT-4/Opus
- Gemini 3.0/3.5:逐步缩小差距
- Gemini 4 Argon:追平GPT-6 Astra
关键:Argon 165 ECI vs GPT-6 Astra 166 vs Opus 5.5 167——3家并列前沿。
3. “AI发现科学” 第一次
10/15 Google同步公布:
- 4个Argon agents在Minecraft from scratch in 27 hours(首次AI from scratch通关)
- 帮助反驳60年Grad conjecture(stellarator fusion physics)(首次AI发现数学/物理猜想反例)
这是AI首次独立完成”发现”的科研任务——不只是”加速”,而是“主动发现”。
4. “harness争议”是AI评估的根本问题
三个层面的问题:
| 层面 | 问题 |
|---|---|
| 技术 | vendor features不可比 |
| 商业 | 实验室用vendor features”作弊”? |
| 学术 | 97.5% 真还是假? |
2026年7月GPT-5.6 Sol vs Claude Opus 5的类似争议:
- OpenAI Responses API: Sol 38.3%
- Opus 5: 30.2%
- Standard Harness: Sol 7.8%
两个模型没有在相同条件下测试——
ARC Prize的Mike Knoop后来允许共享API设置,但Argon在Standard Harness高推理下未能完成所有55个游戏。
5. “AI评估生态”未成熟
当下4个问题:
- 评估依赖vendor features
- 成本难估算($0.16/任务 vs $5,800测试)
- 方法论不统一(Provider Adapter vs Standard)
- 商业压力推动“刷榜”
这意味着AI基准需要“标准化”,类似芯片测试的标准化。
六、5个值得记住的关键事实
- 披露时间:2026-10-15(ARC Prize官方)
- ARC-AGI-3分数:97.5%(Provider Adapter Harness)
- ARC-AGI-2/1:91.3% / 98.5%
- Standard Harness:49.8%(low reasoning)
- 成本:$4,800(97.5%测试)
七、5个常见疑问
Q1:97.5%和49.8%差47.7pp意味着什么?
2个含义:
- vendor features对评分的影响巨大
- ARC-AGI-3的“公平”基准需要统一
这是AI评估的“Benchmark Hacking”问题。
Q2:Google”反扑”OpenAI是真的吗?
3个数据:
- Argon 165 ECI vs GPT-6 Astra 166 vs Opus 5.5 167
- 3家并列前沿,差距1-2分
是真的——Google2年来首次在核心基准上追平。
Q3:为什么Minecraft和stellarator重要?
2个意义:
- AI首次主动发现科学猜想反例
- AI首次from scratch通关复杂游戏
AI正在从”工具”变成“研究者”。
Q4:对中国AI公司有什么影响?
三大影响:
- DeepSeek/智谱/Qwen需关注ARC-AGI-3
- 评估方法需要统一
- vendor features差异缩小
Q5:AI评估”标准化”什么时候能实现?
3个时间点:
- 2027 H1:ARC Prize等组织推动统一
- 2027 H2:国际标准可能发布
- 2028:可能类似芯片的标准化测试
八、为什么这条值得收藏
Gemini 4 Argon ARC-AGI-3 97.5%是2026 Q4 AI前沿模型的关键里程碑。三个层面意义:
1. “Google反扑”完成
当Argon 165 ECI追平Astra 166:
- 2年来首次Google正式追平OpenAI/Anthropic
- 前沿模型从”2家”变成”3家“
- OpenAI/Anthropic/Google的“3方对峙”
加上Meta Muse Wonder(10/13 68660)——4家前沿模型全部SOTA。
2. “AI发现科学”时代开启
当Gemini 4 Argon:
- 反驳60年Grad conjecture
- 在Minecraft from scratch in 27 hours
- 在ARC-AGI-3 97.5%
AI正在从”加速工具”变成“主动研究者”。
3. “AI评估生态”未成熟
当97.5% vs 49.8% = 47.7pp差距:
- AI基准需要“标准化”
- vendor features需要透明化
- 评测方法需要国际统一
这与AI芯片从”各家自己测试”到”标准化基准(MLPerf)”的发展类似。
对于AI从业者:
- 关注AI基准方法论的“标准化”
- 区分“真实能力“vs”刷榜“
- 关注AI发现科学的具体案例
对于企业AI采购:
- Google是新的前沿选择(不只是OpenAI/Anthropic)
- 评估需考虑vendor features依赖
- Google AI Ultra是首批客户的选择
对于投资观察者:
- Google在AI前沿的估值可能提升
- 3方对峙可能压制估值泡沫
- AI评估是新的投资主题(MLPerf模式)
当Google Gemini 4 Argon用97.5%追平OpenAI GPT-6 Astra,AI前沿模型的2家对峙变成3方——2026 Q4,AI巨头的军备竞赛从”性能“进入”标准化“阶段。
📚 信息来源
- Dataist.ai 10/16:Gemini 4 Argon scores 97.5% on ARC-AGI-3, with a caveat(独家详细,harness对比)
- Digg 10/15:Argon is said to be the second model family to officially max out ARC-AGI-3(独家Mike Knoop引述)
- 网易/新智元 10/17:Gemini 4 Argon打穿AGI终极考场(独家中文深度分析)
- NewsTodAI 10/16:Google crosses 95% on ARC-AGI-3(独家Epoch AI ECI对比)
- TheClarity 10/16:Gemini 4 Argon falls from 97.5% to 49.8% once vendor features come off(独家Standard Harness详细)
- ARC Prize官方X 10/15(独家原始数据)
本文为编辑独立撰写的AI大模型分析。97.5%和49.8%数据均来自ARC Prize官方X 10/15(验证数据)。Standard Harness和Provider Adapter Harness是ARC Prize测试方法论术语。3代ARC-AGI分数(98.5%/91.3%/97.5%)来自官方。Epoch AI ECI(165/166/167)来自Epoch AI官方指数。Minecraft 27 hours+ Grads conjecture反驳来自10/15 Google官方公告(在aibriefing 10/18确认)。97.5% vs 49.8% = 47.7pp差距由ARC Prize官方公布。本文不构成任何投资或商业建议。