Claude自评估机制公开 94%高危滥用被检出

时间：2026年10月30日 地点：美国旧金山，Anthropic 总部及其线上 Claude 服务 人物：Anthropic 安全与模型团队，Claude Fable 5，Claude Mythos Preview 教师分类器，以及实际使用 Claude API 的开发者与企业客户 事件详情：Anthropic 公开了其自评估（self-assessment）滥用检测机制的设计、性能与局限。这套机制从今年6月起已经在生产环境的 Claude 模型（包括 Claude Fable 5）上运行：Claude 给出回答之后，系统会在对话末尾追加一条用户看不到的指令，大意是请反思这段对话的安全性，要求模型输出固定格式的 JSON，无风险时 flagged 字段为 false，同时给出危害类型、供人工复核的优先级分数、Claude 是否拒绝了请求，以及一句话理由。系统还会根据 Claude 给 true 这个 token 分配的概率推导出连续的风险分。 官方公布的实测数字包括：在 Claude Fable 5 上，自评估对被更强的教师分类器判定为有害的对话召回率为78%，高危优先级召回率为94%，误判率为1%，估算的生产推理算力开销不到2%。作为对比，Anthropic 2025年初发布的第一版 Constitutional Classifiers 曾让推理成本增加23.7%，OpenAI 则报告过部分发布中安全推理最多占用16%的算力。 模型规模对效果影响明显：在仅做监督微调的四个模型上，把误判率控制在1%时的召回率从最小模型的约16%升到最大模型的约96%，AUC 从0.862升到0.995。泛化测试方面，把欺诈类样本从训练数据中移除后，合成欺诈对话的召回率从92.8%降到90.0%；移除网络安全类样本后，合成网络安全对话召回率从92.7%降到90.3%，官方据此认为训练主要教会了模型按统一格式表达安全判断。 局限同样被明确写出。在覆盖24个攻击性网络安全任务的红队测试中，无防护时攻击成功率为79%，启用自评估后仍有54%，而独立的提示分类器可把攻击成功率压到25%；自评估本身让攻击所需的生成 token 成本增加了约四倍，因此官方把它定位为离线筛查与纵深防御的一层，而不是实时拦截手段。 生产运行还发现了既有检测系统漏掉的滥用：今年8月，单个 API 客户触发超过10万条儿童性虐待与剥削相关标记，Anthropic 调查后向美国国家失踪与受虐儿童中心上报；约三分之一的标记落在既有危害分类之外，暴露出通过非法蒸馏提取 Claude 推理过程、提示注入以及用户未授权的智能体操作等新形态；超过一半被自评估点名的组织在前一个月没有从其他检测系统产生过任何标记，其中一例是用 Claude Code 搭起来的自动化恋爱诈骗团伙。 背景：AI 安全长期面临两难，用小模型做安全监控容易被高级提示绕过，用同样强大的前沿模型做独立审查，推理成本与端到端延迟又会直接翻倍。Anthropic 的解法是利用大模型推理底层的 KV Cache 复用机制：Claude 回答生成后，整段上下文仍然留在缓存里，评估环节不必重新处理整段对话，只需处理那条十几 token 的审计提示词，输出约10个 token 的 JSON。在万级乃至更长上下文的交互里，这10个 token 的解码计算量占总推理算力比例低于2%。训练上分两步，先用提示式教师分类器给合成对话打标做监督微调，损失只作用在评估 token 上，再用强化学习给出六项可验证奖励，包括 JSON 合法性、与教师在 flagged 标签上的一致性、类别与子策略的精确匹配、拒绝行为一致性以及与教师优先级的接近程度。数据生成器为每条子策略生成32个主题、每个主题32个场景，最终每条子策略得到1024个有害场景和1024个覆盖相近话题的良性场景。 影响：对普通用户来说，这套机制几乎没有可感知的变化。Anthropic 表示安全审计的算力成本由平台自行吸收，不计入用户账单，也不会影响正常输出的流式首字延迟；自评估不参与回答前的自我审查，也不直接决定这次回答能否发出，实时拦截仍由其他安全分类器负责，用于反思的指令与评估结果既不展示给用户，也不会带入后续对话。但风险也随之转移：用户既看不到自己是否被标记，也看不到判断依据，一次标记不直接等于封号，却可能成为后续调查的线索；对安全团队而言，约三分之一标记落在既有分类之外，说明固定分类体系仍在被持续绕过。 总结：Anthropic 的自评估是把安全复盘搭在同一次推理的缓存上，用不到2%的额外算力换来 Fable 5 上78%的整体召回与94%的高危召回，代价是它作为实时拦截手段偏弱、攻击成功率仍达54%。生产数据里超过10万条 CSAM 标记和恋爱诈骗团伙，说明这套机制更擅长发现与排序，而不是就地拦下。对行业而言，它给出了多一个可参考的性价比标尺：模型安全监控不一定非得是另一个独立模型，也可以是刚回答完问题的那个模型自己。 总结：Anthropic 的自评估是把安全复盘搭在同一次推理的缓存上，用不到2%的额外算力换来 Fable 5 上78%的整体召回与94%的高危召回，代价是它作为实时拦截手段偏弱、攻击成功率仍达54%。生产数据里超过10万条 CSAM 标记和恋爱诈骗团伙，说明这套机制更擅长发现与排序，而不是就地拦下。对行业而言，它给出了多一个可参考的性价比标尺：模型安全监控不一定非得是另一个独立模型，也可以是刚回答完问题的那个模型自己。 参考来源： Anthropic 官方：Self-assessment 自评估机制说明 https://safeguards.anthropic.com/2026/self-assessment/ AlphaSignal：Anthropic's Claude Now Flags Its Own Misuse at Under 2% Extra Cost https://alphasignal.ai/news/anthropic-s-claude-now-flags-its-own-misuse-at-under-2-extra-cost 爱范儿：Fable 5.5测试曝光，Claude每次回答后，还会执行一条你看不到的指令 https://www.ifanr.com/1686874 explainx.ai：Anthropic Self-Assessment 指标解读 https://explainx.ai/blog/anthropic-self-assessment-claude-flags-own-misuse-78-percent-94-percent-high-priority-under-2-percent-compute-2026 Lumien AI：Claude's Self-Assessment Feature Silently Flags Harmful Chats https://lumienai.com/news/claude-self-assessment-flags-harmful-chats-anthropic 新浪：Claude 回复完用户后，会悄悄给自己这段对话打安全分 https://sina.cn/news/detail/5360083854691029.html 大佬说：通过自我评估调整滥用检测 https://locdd.com/t/topic/105103 51CTO：低成本自评估应补充而非取代安全审查 https://blog.51cto.com/u_17806215/15049380