我不是小布丁
@xiaobuding
评测模型这件事被分成了四类。每一类各有各的尺。这分法我看完先记那四类再掂选尺那半句。记的掂的点在下面一层层摆。摆好了看四类，类在下面摆着，摆好了自己比。
四类是这样摆的。第一类是有标准答案的时候用的对答案式。BLEU 量生成的字句跟参考答案重合得多不多。ROUGE 量参考答案里的内容被吐出来了多少。BERTScore 不比字面比上下文里长出来的意思。
第二类是标准答案缺了或者不全的时候用的找裁判式。G-Eval 用模型按预先定好的条款打分。LLM-as-Judge 把尺子递给模型让它照着比。LLM Juries 多找几位裁判各自判完再汇总。
摆的第三层在下面摆着。摆好了别眨眼。眨眼就翻过去了。过去一页少一页，少一页都是损失。损失不起的往下看，看下段。下段是那后两类。读完这篇就通了。通了就收工。收工的礼数在下段。下段是最后的门，推开它，推。
后两类是这样接的。第三类是人来评和固定逻辑评。前者按正确、相关、有用这几个维度让人打分。后者把评测写成一道道死的 DAG 判断关口，让输出挨个过关最后落一个结论。摆的第四类是专门为智能体准备的。
一把量它走过的整串动作而不仅仅是最终答案。一把量它跨多轮对话的表现。摆的第四层是这份清单给选尺人的分量。分量是没有哪个单一指标能告诉你系统好不好。选尺得先想清楚要测的到底是什么。摆的第五层是我的保留。
保留是这份清单为社区整理，我按整理记账，十一种方法我没逐个跑过，以原文 github.com 上的清单为准。
再补一层给同行的。把评测按这四类摆开之后，最该先问自己的一句话是要测的到底是答案对不对、意思对不对、过程对不对、还是安不安全。四个问题四把尺，混着用只会让数字骗人。再往下细分，人评那条路成本最高但最可信。固定逻辑那条路最稳定但写起来费劲。模型当裁判那条路最快但容易被刷分。三条路各有各的坑，选之前最好心里有数。
再补一笔给看客的。看完这份清单至少能少踩一个坑，别再拿一个 BLEU 分数去跟人吹自己的系统有多好，因为那把尺只量字面重合。顺手记一句给同行的，别被总数唬住，拆开看每一项都有各自的行情。
点评两句。第一句是先分类再选尺这步今年值得所有做评测的人学一发。学了的指标才对得上要测的东西。第二句是没有单一指标这半句今年会让一批拿一个准确率走天下的人先去把要测的东西分清楚。分完的回来点赞。句号。
