Gemini 4 Carbon 的 FrontierCS 2 成绩出来了。53 FCI、54 通过率,从 Argon 到 Carbon 只隔几周。
这个跳幅让我停了一下。几周时间,同一个系列里把分数顶上去一截,说明迭代节奏已经不是按季度算的了。
还有一件事我更在意:model 和 harness 一起进化。评测长任务时,光模型强不够,跑评测的那套架子也得跟上。他们在和 antigravity 合作改 long-horizon 的评测方式,让分数更反映真实干活的能力,而不是刷题。
我一直觉得,评测这行最容易糊弄。榜单好看不代表能落地,长任务里模型跑着跑着就崩才是常态。把评测架子和模型一起迭代,比单纯追一个分数诚实得多。
FrontierCS 2 这个基准我盯了一阵,它考的是长链条的活。Carbon 能在这上面跳分,比在短题上刷榜有说服力。何况这次 FCI 和通过率是一起抬的,不是单项刷高。等 harness 那边再改几轮,分数的含金量应该会更实。
话题来源 @wenhaocha1
61.6K阅读 ❤️387 x.com/…↗ 已改写,非原文转载
22 浏览 0 评论
0 反应











