OpenAI等四家统一AI训练退出标准

时间：2026 年 10 月 30 日（美国东部时间），OpenAI、谷歌、微软与 Anthropic 同日对外宣布，将支持同一套写在 robots.txt 里的 AI 训练退出标准。微软 Bing 与谷歌 Search Central 的官方博客当日上线，The Verge 与 SiliconANGLE 当天跟进报道。 地点：美国旧金山（OpenAI 与 Anthropic 总部）、山景城（谷歌总部）、雷德蒙德（微软 Bing 部门）；标准草案提交至互联网工程任务组 IETF 的 AI Preferences（AIPREF）工作组。 人物：Anthropic 标准技术负责人 Kevin Kelley（提案人）；微软 Bing 首席产品经理 Krishna Madhavan；谷歌搜索顾问 John Mueller；Meta 传播负责人 Andy Stone。 事件详情：此前网站要拒绝内容被用于 AI 训练，必须在 robots.txt 里逐个屏蔽 GPTBot、Google-Extended、ClaudeBot 等爬虫名字，每多一个新爬虫就得再补一条规则。新方案引入一个统一的策略令牌（policy token），名字是 __usage_ai-training，站点在 robots.txt 里加一个 User-Agent: __usage_ai-training 分组，后面跟 Disallow: /，就能一次对所有参与的 AI 公司表达内容不要用于训练；也可以按目录或路径做例外，只屏蔽部分页面。谷歌表示，如果站点用了这个令牌却没有单独说明 Google-Extended，Google 会把它当作对 Google-Extended 的屏蔽；明确允许 Google-Extended 的网站，仍然可以在 Gemini 应用里被引用并获得点击。 四家给出的落地时间并不一致：Anthropic 表示已经开始推进，OpenAI 表示会在未来几个月内实施，谷歌的目标是 2027 年、其爬虫文档写的是 2027 年初，微软则从 2027 年 2 月 1 日起随 Bing 重新抓取页面开始生效，并在 2027 年 3 月 1 日之后不再把旧的 NoArchive 与 NoCache 标签当作 AI 偏好。微软还新增了一套独立的 AI Grounding 偏好，其中 DisallowExtended 选项允许内容只被自家产品（AI Mode、AI Overview、Copilot、Microsoft 365）引用，而排除它卖给第三方的 grounding 服务。 边界也需要说清楚：这个令牌只针对训练，它不是抓取指令，不影响搜索索引，也不阻止 AI 产品拿网页去给答案做 grounding 或引用；站点不写规则，默认仍然允许训练。另外它目前只是一份由个人提交的 IETF 草案，IETF 数据追踪站明确表示尚未背书，在标准流程里没有正式地位。 背景：出版商对 AI 爬虫的抵触由来已久，纽约时报 2023 年就起诉过 OpenAI 和微软，英国竞争与市场管理局近期也在调查 Meta 涉出版商内容的问题。另一条路线是 Really Simple Licensing（RSL）标准，允许出版商向爬虫收费；Cloudflare 则从 2025 年 7 月起对新建网站默认拦截 AI 爬虫。这次统一令牌来自 IETF 的 AI Preferences 工作组，Kelley 以个人名义提交了草案，并称它会补充而非取代 Anthropic 现有的爬虫控制。谷歌还指出，这一做法与欧盟通用人工智能模型行为准则一致，该准则把 robots.txt 视为出版商表达机器可读偏好的主要方式。 影响：对站点方来说，最实际的变化是把退出 AI 训练从维护一张爬虫名单变成写一条规则，而且现在就可以写进去，等各家开关打开即生效，同时保留原有的逐个爬虫规则以便过渡。谷歌和微软都提醒，选择退出意味着内容在 AI 体验中出现的频率会下降，而搜索流量本身对不少站点已经在下滑，这是一笔需要自己算的账。微软 Bing 首席产品经理 Krishna Madhavan 的说法是，出版商不该在能否被 Bing 收录和能否被生成式模型使用之间做二选一。 对 AI 公司来说，谁先把偏好开关做进产品、谁能拿到出版方的信任与内容授权，会成为下一阶段竞争的一部分；这也是四家第一次在同一件事上给出同一种机器可读的技术表述。对监管来说，这等于把网站拒绝被训练从各家私下的约定，推进到了可以写进欧盟 AI 法案配套准则的行业通用做法。不过要注意，四家表态并不等于法律义务，Meta 到目前也没有承诺会遵守。 总结：OpenAI、谷歌、微软与 Anthropic 首次就同一件事给出统一答案，网站在 robots.txt 里加一个 User-Agent: __usage_ai-training 分组并写上 Disallow: /，就能一次性对所有参与的 AI 公司声明内容不要用于训练，不必再逐个屏蔽 GPTBot、Google-Extended、ClaudeBot。令牌只管训练，不管抓取，也不影响搜索索引和 AI 答案对网页的引用，站点不写就默认允许训练。时间表上 Anthropic 已经在做，OpenAI 说未来几个月，谷歌瞄准 2027 年，微软从 2027 年 2 月 1 日起随 Bing 重抓生效。对国内站点和内容方来说，现在就把规则写进去、把旧规则留着，是成本最低的做法。对整个行业来说，这是把出版商与 AI 公司之间的私下博弈第一次搬到了可以机器读取的公共标准上，但目前仍是一份未获 IETF 背书的个人草案。 参考来源： 微软 Bing 官方博客：Your content, your choice: clearer preferences for training and grounding：https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/ 谷歌 Search Central 官方博客：Supporting a shared AI training control for websites：https://developers.google.com/search/blog/2026/10/ai-training-control The Verge：The biggest names in AI are backing a new way to opt out of scraping：https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out SiliconANGLE：Google, Anthropic and others to support new AI crawling opt-out standard：https://siliconangle.com/2026/10/30/google-anthropic-and-others-to-support-new-ai-crawling-opt-out-standard/ ShiftDelete：AI Training Opt-Out: OpenAI, Google and Microsoft Back One Rule：https://en.shiftdelete.net/ai-training-opt-out/ The Next Web：Google, Microsoft, OpenAI and Anthropic back one AI training opt-out：https://thenextweb.com/news/ai-training-opt-out-robots-txt-google-openai-microsoft-anthropic 答鸭 AI 资讯：OpenAI、Google、微软与 Anthropic 统一 AI 训练退出标准：https://dayaai.com/news/story/4943