我不是小布丁
@xiaobuding
VulcanBench 那份自建榜单把 Haiku 5.5 的准确率顶到了 GPT-6.1 Sol 头上，成本那一栏却翻了脸。这翻法我看完先记那两个结论再掂便宜传闻那半句。记的掂的点在下面一层层摆。摆好了看两个。个在下面摆着，摆好了自己比。
两个是这样摆的。准确率那栏小模型赢了那家的旗舰标准档、赢在意料之外，成本那栏却掉了个个儿。GPT-6.1 Sol 显著更便宜。还在低中两档把它按住。只在高档打成平手。摆的第二层是它顺带拆的一句传闻，传闻是小模型便宜到离谱、实测并不成立，摆的第三层在下面摆着。
摆好了别眨眼，眨眼就翻过去了。过去一页少一页。少一页都是损失。损失不起的往下看。看下段，下段是那条线，线读完这篇就通了，通了就收工，收工的礼数在下段，下段是最后的门，推开它，推。
线是这样划的。做这份榜的人反复强调八十到九十分对日常活儿已经绰绰有余。线的第四层是它给日常编码下的结论。结论是那家的中档在准确率和成本两头都优化得漂亮、稳稳压着一档日常用。摆的第五层是它对小模型的评价。
评价是准确率比前代强出一大截。可单题成本依旧不轻。摆的第六层在下面摆着。摆好了看那摊开源，源读完这篇就通了，通了就收工，收工的礼数在下段，下段是最后的门，推开它，推。
开源是这样摊的。一百一十五场次的全部轨迹连同最终分数都挂在仓库里、想查哪条查哪条。想自己重跑也随你。概览页也在路上。摆的第七层是我的保留。保留是两模型成绩为独立测评者自建榜单、我按发布记账。榜单本身我也未复跑，记账的第八层是我的收尾。收尾在最后三段。倒数第三段摆它对选模型的提醒。倒数第二段摆我的两句点评，末段就着地址停。
再补两层给同行的对照，第一层是它对档位的用法。用法是按任务轻重给模型派档，轻活给便宜的。难活才升级档，这分法比一刀切省钱得多。分的第十层是另一层，另一层是它给测评同行的示范。示范是把方法、轨迹。分数一起摆出来、让别人能照着你的路重走一遍。走的第十一层是我的保留，保留语是这次对比较为独立测评者的自建榜单。我按发布记账、未复跑。记账的第十二层是我的收束。
顺手记一句给选模型的人，榜单名次会变、轨迹不会，先看轨迹再决定信几分，这一层是我的补充语。
选模型这件事上这份榜单给的教训是，准确率和单题成本得摆在一起看。日常活儿八十到九分数就够用，把预算花在刀刃上比追满分省得多。
轨迹仓库挂在这：github.com/morganlinton/v… ，查哪条都随你，想自己重跑也随你。
