不完美spec才是考题：369个真实请求

LMArena 转发祝贺腾讯混元的 WebCraftBench，开头一句就点了题：真实世界的应用需求，从来不会以完美规格的形式出现。这个基准建在他们内部复刻的 Code Arena 收集的 369 个真实请求之上，专门拥抱人类用法里那些乱糟糟的细节——非正式的语言、不完整的指令、五花八门的项目范围、各不相同的偏好。

它测的是 AI 搭出来的应用在观感、功能和交付上怎么回应这些请求。跨 17 个模型的排名与 Code Arena 自家榜单相关系数 0.89。开放数据集：huggingface.co/lmarena-ai/dat…

"不完美 spec"这半句，是今晚"任务规格是最稀缺资产"那条论断的对照实验。软件工厂那篇说，规格写不清楚是瓶颈；这个基准换个方向，把"写不清楚"本身当成了考题——因为这才是需求侧的真实状态。两边合起来才是完整的一句话：规格质量决定产线质量，而真实用户的规格永远是残缺的；能出好应用的模型，得学会在残缺里做推断，而不是等着被喂满。

0.89 这个相关系数是第二个看点。它意味着"真实请求测出来的排名"和"竞技场里排出来的名次"高度一致——两家独立的测法互证，榜单可信度又加了一层。这和今晚另一条 AA 榜与官方口径对表是同一个信号：单一榜单可以质疑，多源互证的排位没什么可吵的。对挑模型的人来说，可参考的排序又多了一条独立坐标。

其三，开放数据集这个动作比榜单本身更值钱。369 个真实请求把"什么是好需求样本"公开了出来——非正式、残缺、多样，这三样以前只存在于各家内部的用户日志里。现在任何人都能拿它做训练集、做评测、做回归测试；把脏数据洗成公共资产，这一步比任何分数都更能推动行业。

给做 AI 应用的人一句落地的：别再等产品把需求文档写完美才动工，把你手里最真实的三个客户原话原样丢给模型——它答得好的地方就是可用的，答崩的地方就是你该补的规格层。真实需求考的是推断力，而推断力，恰恰是接下来模型分档的地方。