Anthropic发布AI安全评估指南 配置分差达34点

时间：2026年11月13日 地点：美国（Anthropic 总部） 人物：Anthropic 工程与安全团队、Claude 模型用户 事件详情：Anthropic 于11月13日发布方法指南《Building strong safety evaluations》，面向所有构建或依赖 AI 安全评测的人给出建议。指南给出的第一个数字是：在 API 的单轮评测上，Anthropic 所有近期模型的平均无害应答率都在94%到98%之间，也就是说单轮题目已经饱和，主要只能用来回归检查已知的失效模式。真正拉开差距的是多轮评测，其在 API 上的置信区间可能超过±10个百分点。指南以恋爱诈骗类多轮评测为例，Claude Opus 5 与 Opus 5.5 的恰当应答率分别为98%和94%，但两者差异不具备统计显著性。另一个例子是 Claude Fable 5.1：同一模型在 API 与 claude.ai 两种配置下的恰当应答率最高相差34个百分点，加入针对自残话题的系统提示后，claude.ai 上为94%、API 上为60%。样本量方面，指南把复杂多轮评测的下限定为100题，较简单的单轮评测定为1000题；单轮安全题库覆盖16个政策领域、7种语言和多个产品界面。 背景：安全评测的分数被用来决定一个模型能否发布、要配套哪些防护、下一轮安全训练该往哪儿使劲，而一句“比上一代更安全”本质上只是说它在某套评测上得分更高。Anthropic 指出，AI 评测容易被钻空子、常常测的不是它声称要测的东西，结果还会随题目形式与选项顺序变化；心理学十年前也遇到过类似问题，靠预登记、改进测量与更严格的统计才把结论变得可信。近几个月，Anthropic 因自身事故加固了评测环境，暂停了多批给模型联网的评测，并为必须联网的网络搜索评测加装实时监控。 影响：指南认为，用拒答率衡量自杀与自伤类对话会带来误导，因为危机情境中直接拒绝本身就是一种失败，恰当的回应应当带着共情并把用户引向人工支持，因此多轮评测改用恰当应答率，一轮答错就整段对话判负。它同时要求评测必须报告所用配置、模型版本、采样设置、评分器版本与日期，用人工标注的样本比对评分器与专家的一致性，并在看到结果之前就登记好指标、比较方式与改进阈值。对整个行业而言，只抛出一个总分的安全声明已经不够，评测怎么设计直接决定了结论能不能信。 总结：Anthropic 这份指南把安全评测从一句结论还原成一套可复现的工程方法。它用两个数字说明问题：单轮测试已经饱和到94%至98%，而同一模型换一种配置就能差出34个百分点。换句话说，模型安全分数更多取决于怎么测、在哪儿测，而不只是模型本身。谁在发布模型时附上可复现的评测细节，谁的安全声明才更有说服力。 参考来源： Anthropic 官方指南：Building strong safety evaluations（2026年11月13日发布） https://www.anthropic.com/news/building-strong-safety-evaluations Unite.AI：Anthropic Publishes Guidance for More Reliable AI Safety Evaluations https://www.unite.ai/anthropic-publishes-guidance-for-more-reliable-ai-safety-evaluations/ The Next Web：Anthropic says its AI safety scores depend heavily on how they're measured https://thenextweb.com/news/anthropic-safety-evaluations-guidance-fable-self-harm AI Chat Daily：Anthropic safety eval guide shows 34-point swing for same Claude model https://www.aichatdaily.com/ai-security/anthropic-safety-eval-guide-shows-34-point-swing-same explainx.ai：Safety Evaluations: Anthropic's 100-Item Rule Explained https://explainx.ai/blog/anthropic-strong-safety-evals-guide eyeon.ai：Building strong safety evaluations 摘要 https://eyeon.ai/f/3747