改了九版基准，对面没有一句抱怨

一个把基准改了至少九次的评测者，和一支被反复"刁难"的模型团队，把那几周的 embedding 赛道演成了教科书式协作。 故事从需求长出来：contextual embedding 模型要在长文档里排的不只是答案那一块，还有起消歧作用的上下文块——排对了，检索代理只需读文档里真正相关的那一小片，而不是整本翻完。 作者搭好自己的基准后主动联系 Perplexity，愿把结果分享给对方；对方的反应是热情接住，一周内就出了新模型让他测。 往复随即开始：他跑新模型、看结果、觉得基准还不够好、改一版再给结果——几周里基准动了至少九个版本。面对一个不断移动的靶子，团队没有抱怨评测不公平，只是持续改进模型，直到明确登顶。作者特别点出其中关键：他们没有借助任何对基准的特权访问，靠的纯粹是迭代到模型真的更好。 这段记录顺手给了第三方评测一个可复用的样板：评测方公开方法、持续修正并反馈，被测方不索取后门、拿产品说话——两边各自守住本分，排行榜才含金。它也解释了为什么愿意接外部反馈的团队跑得更快：每一个挑剔的外部评测者，都是免费的、带着动机的测试集维护员。 对写评测的人，值得抄的是那句克制——把自己的基准当草稿而非圣旨；对做模型的人，值得抄的是回应方式——不动怒、不开后门、只把下一版做得更好。 移动靶逼出来的登顶，比任何一次静态跑分都更有说服力——你的团队上一次被外部基准逼着改了几版？