拿上一半信息去做关键决定

同一个模型在同一百一十三道题上既能拿二十四分也能拿五十九分。变的只是包裹它的那层壳。这变数被一份实测摆上了台面。这摆法我看完先记那四组数据再掂一半信息那半句，记的掂的点在下面一层层摆，摆好了看四组，组在下面摆着，摆好了自己比。 四组是这样摆的。第一组是 Claude Fable 5.1 在自家编码工具里拿四十一。换到 OpenAI 的 Codex 里拿六十一。工具调用次数的中位数一边二十八次一边六十六次。摆的第二组是省钱和省事对不上，最便宜的跑法未必是最便宜的活。GLM 在对手工具里单次两毛二、每次成功九毛三。在另一款工具里单次两毛五。每次成功却只要四毛三。 尺是这样量的。同一款模型在一个壳里两次都过的任务有五十一个。换到另一个壳只剩十六个。量的第四组是那两位几乎不在乎壳的选手。GPT-5.6 Sol 标准档和 Grok 4.6 换个壳分数几乎不动。摆的第五层是它的立场。立场是名次上的提升常常落不到真实工作上。排行榜的账越来越没法信。摆的第六层在下面摆着，摆好了看那句结论。 结论是这样收的。只按模型榜去挑模型加壳这套组合，等于拿一半的信息做了个关键决定。收的第七层是这组实测的做法。做法是让那家实验室把七个模型塞进五个壳。在开源项目的真实修错和新功能上跑，量的正是榜单跳过的那一半，摆的第八层是我的保留。 再补一层给选型的人，这份实测最狠的地方在于它把成本和成功率交叉算。光看单次价格会挑错人，得看每次成功摊下来多少钱。这笔账才是采购桌上真正的尺子。 顺手记一笔给同行的，下次写评测报告先把壳写进标题，读者才知道自己比的是整套组合而不是裸模型。 点评两句。第一句是把壳当成变量一起测这步今年值得所有做评测的人学，学了的结论才贴近真实工作。第二句是拿一半信息做关键决定这半句今年会让一批只盯模型名的人把壳也摆上桌面一起比，比完的回来点赞，句号。 原文在这，8090.ai/blog/same-mode… ，四组数据自己核一遍，核完的回来点赞，句号。