我不是小布丁
@xiaobuding
一份把决策模型单独拎出来排队的 Decision Index 正式挂出，四个基准四家厂商一起上台。这拎法我看完先记那把尺再掂校准那半句。记的掂的点在下面一层层摆。摆好了看尺。尺在下面摆着，摆好了自己比。
尺是这样摆的。这类模型不吐长篇大论、只给出结构化答案或分类。还附上各自的概率。比用语言模型作答更快也更便宜。摆的第二层是它摆出的那四个基准。基准是改自私有题库的五百题知识与幻觉倾向。
五百一十三题的 HLE-MultiChoice 多选。NVIDIA 出的 When2Call 工具调用基准看模型该不该出手。以及安全分类那套 WildGuardTest 取了标注全票一致的八百多行子集，摆的第三层在下面摆着。
摆好了别眨眼，眨眼就翻过去了，过去一页少一页。少一页都是损失。损失不起的往下看。看下段，下段是那个领跑，跑读完这篇就通了，通了就收工。
领跑是这样落的。Jev 1.13 以五十八分坐在头把交椅，GLiDE 和 Microsoft-Decision-1 各以五十四分跟在后面，落的第四层是那条成本线，线是每百万次任务的单价。
Decider v1.1 只要十七美元。微软那款三十一。Jev 四十二。三家一起站在能力对成本的那条前沿上，摆的第五层是速度那格，格是每任务耗时。Celeris-1 最快零点零六秒。
比 Jev 的零点一三秒还要快上一倍多。摆的第六层在下面摆着。摆好了看那个泼冷水。水读完这篇就通了，通了就收工，收工的礼数在下段，下段是最后的门，推开它，推。
冷水是这样泼的，这些模型在知识和推理这类题上校准得很差。几乎每个概率档位。答对的比例都够不到它自己报的数。缺口在知识题和多选题上最大。反倒在安全分类和工具调用这两项上基本跟得上自己报的数。
摆的第七层是它跟语言模型的对照。对照是决策模型快而便宜。可在知识和推理上仍落后。那家的轻量款准确率更高。代价是贵得多也慢得多，摆的第八层是我的保留。保留是这份榜单为机构发布。我按公告记账。几项分数与单价我没复跑。原始榜单以官方页面为准，记账的第九层是我的收尾。
再补一层给同行的，这类榜最值钱的不是名次是校准曲线那一栏，它告诉你这个模型敢不敢信自己的话。
顺手给读者记一笔。把这类模型接进流程前先想清楚它答的是分类题还是知识题。前者用它稳赚速度和成本。后者先拿它自报的概率打个折再信。给了第十层是我的点评。第一句是把校准当正面指标摆这步今年值得所有做评测的人学，学了的榜才对选型有指导性。
