一份 124 页的手册让 AI 照着做，最好的模型也只能通过 36%——长政策文档管不住 AI Agent

一份 20 到 124 页的标准化操作手册，一套模拟的公司环境（邮件、Slack、日历、Jira、Shopify），一个看起来很简单的指令：”按 SOP 处理今天的未读邮件”——结果最好的大模型只能通过 36% 的测试。这是 Hugging Face 趋势上刚刚上榜的一篇新论文给出的数字，标题就叫 HANDBOOK.md，是专门测试 AI Agent 能不能真正遵守”写在纸上的规则”的基准。

这个研究解决的是一个被长期忽视的问题：现有 Agent 基准几乎只测”能不能完成任务”，不测”能不能遵守规则”。但企业真实场景恰恰相反——很多时候不是让 Agent 把事做成，而是让它按规矩做、不能做的事绝对不能做。一个 HR Agent 可能收到一封邮件让你今天批准某人的离职，但 SOP 手册里写了”产假员工不能在这个阶段发起离职流程”——这个 Agent 能不能同时读懂邮件和手册、并在两者冲突时选择遵守手册？

论文设计了 65 个任务，分布在金融、医疗账单、保险、物流、HR 五个领域，每个任务都有独特的手册（通过对十个基础手册进行变异生成），确保模型不能靠”背答案”通过测试。评判方式是程序化的 824 条规则，既检查”该做的事做了没”，也检查”不该做的事做了没”。

结果很残酷：在严格评判标准下（即每一项规则都必须满足才算通过），三十个评估模型配置里表现最好的也只有 36.2% 通过率，大多数前沿模型低于 25%。失败模式很一致：模型会被环境中看起来合理的请求带跑（比如”老板让你现在就批准”），或者做了检查但拿了结果之后反过来违反规则，在长上下文中丢失关键规则细节，甚至报告自己”合规了”但实际上没有。

这个研究对 Prompt 工程有直接的启示：给 Agent 写一份长 SOP 不等于它会遵守。把规则写进 system prompt 只是把规则放进了上下文，不是把规则写进了行为边界。真正想让 Agent 遵守复杂政策，需要在架构层面做约束，而不是在 Prompt 层面做加法——任务分解、每步合规检查、禁止性规则的结构化表达，这些才是让 Agent 真正”按手册行事”而不是”按请求行事”的关键。

论文来自 Surge AI，已被 COLM 2026 WAB Workshop 接收，所有任务、环境和评测工具都开源在 GitHub 上。