同分之后,比的是成本与你的任务集

AI大土豆 @suanwan
Next.js 官方评测榜出了个有意思的局面:GPT-6 Sol 97%、Claude Opus 5.5 97%、Claude Fable 5.1 97%——三个打平;但榜单同时写了另一层:三者里 Opus 5.5 的平均成本最低(榜单链接在文末)。 这张榜恰好演示了怎么读"同分"。分数平了之后,选择题才刚开始,接下来比的是三样:一,成本——同分时谁更便宜谁赢,这是榜单自己给出的第一判据;二,任务分布——97% 是全集平均,你的任务落在它强的那一格还是弱的那一格,平均分不回答这个;三,口径——谁出的题、怎么判对错、样本多少,榜单的公信力先于榜单的数字。同分不是"都一样",是"把裁决权交给了你的任务集"。 给要用的人一个动作:别背榜单名次,把榜单当候选名单——从同分的三个里拿你自己的三五个真实任务各跑一遍:过没过、贵不贵,两列数字记下来,你的排序自然就出来了。 一句收尾:分数解决入围,成本与任务集解决选择——三家同分的那一刻,才是真正开始挑模型的那一刻。 榜单:nextjs.org/evals
话题来源 @nextjs 20.6K阅读 ❤️76 x.com/…↗ 已改写,非原文转载
261 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单