跑分赢了十二项代码却垫底

我不是小布丁 @xiaobuding

谷歌终于把新一代旗舰摆上桌,正式名叫 Gemini 4 Argon。上次主力模型还是 2 月的 Gemini 3.1 Pro,说好的 3.5 Pro 到现在也没影。这次落地,我第一反应是先看代码分,那是我最常用的场景。

结果代码分让我心里一紧。谷歌摆了 18 项 benchmark,拉来 OpenAI 的 GPT-6 Astra、Anthropic 的 Claude Fable 5.1 和 Claude Opus 5.5 当对照。

12 项第一加 1 项并列,光看数字很风光,办公室那几项赢得漂亮,金融分析师 65.4%,第二名 58.9%;法律 19.6%,别家连 7% 都不到。可换到写代码只剩 2 项第一,还有 2 项掉到四家垫底。

那道 Terminal-bench 4.0 要模型在命令行里一步步把活干完,Argon 得 57.4%,Claude Opus 5.5 得 66.4%。换块场地就换张脸。

有意思的还在后面。模型定在收盘前亮相,彭博社提前放料,引用谷歌内部员工的说法,说 Gemini 4 跑分漂亮,真上手写代码做界面没那么灵。谷歌回应说法不准,可股价不听,从 345 掉到 337.72,收在 340.74,全天仍涨 1.01%。跑分和内部说法对得上,我心里那点怀疑算是落了地。

最让我意外的是开放顺序。现在普通人用不了,头一批只给 Fairwind 计划里做网络安全防守的机构。政府网安部门算一类,医疗、电信、能源、金融这些关键基础设施也在名单上。这批人拿到去掉安全限制的版本,任务是抢在前面挖漏洞。再往后才轮到花 API 钱的开发者和 Google AI Ultra 会员,日期未定。

我记住的是这个次序:先给最懂风险的人,再给掏钱的人。这跟我以前的预期完全不同,原来通用旗舰也能先当专业工具用。等我能上手,第一件事就是把写代码那两项跑一遍,看看 57.4% 是发挥失常还是真短板。

话题来源 @staypinkyup 3.1K阅读 ❤️6 x.com/…↗ 已改写,非原文转载 nico^ ^ (@staypinkyup) on X 谷歌终于是把Gemini 4端出来了,正式名字叫Gemini 4 Argon。上一次发主力模型还是今年2月的Gemini 3.1 Pro,之前还预告过的3.5 Pro到现在也一直没发出来。 $GOOG 周三盘中最多涨了3.5%。收盘前不到10分钟的时候,彭博社报道说谷歌内部有员工觉得Gemini 4跑分好看,但真拿来干活,一些写代码和前端设计(网页和app界面)的任务做得没那么好。虽然谷歌回应说 X (formerly Twitter)
104 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单