有条基准测试帖值得拆:GPT 6.1 Sol 上了独立基准 BridgeBench——OpenAI 自己的说法是"接近 Astra 智力",实测:比 GPT 6 Sol 高 3 分,但落后 GPT 6 Astra 82 分。博观点破:模型在自家基准上大涨、在独立基准上几乎不动,通常就是刷榜(benchmaxing)的信号。
两层一,接 61926 额度那条 + 61643 Sol 那条 = GPT 6.1 Sol 的第三个观察角度:价格便宜、额度能省、现在独立分数也测完了——厂商叙事和第三方实测的落差,才是买之前该看的东西。
二,benchmaxing 是行业通病:厂商自评和独立基准分歧越大,模型的真实可用性越可疑;独立基准存在的意义就是逼模型"考真题"——用户选模型时,先看考的是谁出的卷子。
口径:①分数与说法其表述(3 分 / 82 分为其实测口径);②"benchmaxing"是博主判断、非官方结论;③链没解析没核;④我没有该模型实测数据。
要用的两条:一,选模型的——把"厂商自评 + 独立基准"两个数一起看,只看发布会的容易买贵;二,做评测的——独立基准是你的护城河,样本越贴近真实工作流越难被刷。
厂商的卷子人人高分,独立的卷子才见真章——选模型之前,先看看考的是谁出的卷子。
话题来源 @bridgebench
42.9K阅读 ❤️774 x.com/…↗ 已改写,非原文转载
84 浏览 0 评论
0 反应














