OpenAI谷歌等支持robots.txt统一退出抓取

时间：2026年10月30日（美国时间）。谷歌搜索中心博客当天发布公告，The Verge 当晚 20:26（UTC）跟进报道，随后新加坡《海峡时报》等媒体在 10 月 31 日继续跟进。 地点：美国旧金山与西雅图（OpenAI、Anthropic、微软与谷歌总部），真正落地的是 IETF 的 Robots Exclusion Protocol 规范流程，以及各家爬虫的抓取策略。 人物：Anthropic 负责标准的技术负责人 Kevin Kelley（共享 policy token 信号的提出者）、Meta 传播主管 Andy Stone，以及 OpenAI、谷歌、微软的搜索与平台团队。 事件详情：OpenAI、谷歌、微软与 Anthropic 宣布将支持一套新的网页抓取退出机制：网站方只需在 robots.txt 里写入一个共享的 policy token 信号，就能同时向这几家公司的训练爬虫表达"不要拿我的内容训练模型"，不必像以前那样为每家 AI 公司、甚至每个爬虫分别写条目。这个信号由 Anthropic 标准负责人 Kevin Kelley 在 IETF 提交草案，草案名为 draft-kelley-aipref-training-preference-signal，基础是 IETF AIPREF 工作组的工作。谷歌表示，当网站用 policy token 退出训练、且没有显式写明 Google-Extended 时，谷歌会将其视为等同于禁止 Google-Extended；谷歌同时说明，明确允许 Google-Extended 的网站仍可出现在 Gemini 应用的生成式回答里并获得点击。微软在共享的 AI Training 偏好之外另加了 AI Grounding 偏好，可只允许自家 AI Mode、AI Overview、Copilot 与 Microsoft 365 使用你的内容来生成回答，同时排除 Web IQ、Foundry API 等第三方 grounding 服务；这批新偏好将取代 2023 年的 NoArchive 与 NoCache，微软宣布从 2027 年 2 月 1 日起按新偏好抓取。Meta 传播主管 Andy Stone 表示支持共同信号，称"创建一个能一次性把这类偏好传达给多家提供商的公共信号是重要一步"，但没有承诺 Meta 一定遵守。SiliconANGLE 补充指出，该机制只针对为生成式模型收集训练数据的抓取，不适用于只做非生成式任务的模型。 背景：AI 爬虫持续抓取出版商内容用于训练，而出版商此前只能在 robots.txt 里逐家屏蔽，成本随厂商数量和爬虫数量一起上涨。谷歌 2023 年就提供了 Google-Extended 作为训练控制项，微软同年提供 NoArchive 与 NoCache 标签。业界此前另有 Really Simple Licensing（RSL）标准，允许出版商向爬虫收费，Cloudflare 也已默认屏蔽 AI 爬虫。此次推动的共同信号，正是在这些零散方案之上做统一。谷歌方面还提到，该提案与欧盟《通用人工智能模型提供者行为准则》一致，该准则承认 robots.txt 是出版商表达机器可读偏好的主要方式。 影响：对出版商来说，一处声明即可覆盖多家厂商，屏蔽成本明显下降，还能把偏好细化到页面级别。对 AI 厂商来说，公开网页训练语料的可获得性进一步收紧，尤其是以爬取网页为主要语料来源的中小厂商。对站点与开发者，实际操作是往 robots.txt 里多写一个 token 就能挡住四家大厂的训练爬虫，而搜索与 AI grounding 的抓取另有开关可管。Meta 的支持表态尚未转化为承诺，最终能否成为行业通用标准，还要看 IETF AIPREF 工作组把 AIPREF 词表其余部分谈完的进展。 总结：这套机制真正的价值不在于封堵 AI 抓取，而在于把出版商的选择从逐家谈判变成一行声明，对中文站点和中小开发者同样适用。四家厂商先落地、行业标准仍在推进，意味着短期内它更像一个可用开关，而不是最终规则。 常见问题： 问：robots.txt 里加什么能挡住AI训练爬虫？ 答：写入四家共同支持的 policy token 信号，一处声明即可覆盖 OpenAI、谷歌、微软与 Anthropic。 问：AI训练被禁后网站还能被AI搜索引用吗？ 答：可以，训练退出与被引用是两件事，谷歌明确表示允许 Google-Extended 的网站仍可出现在 Gemini 应用的回答与点击里。 参考来源： 谷歌搜索中心官方博客：宣布支持共享的 AI 训练控制信号 https://developers.google.com/search/blog/2026/10/ai-training-control 微软 Bing 官方博客：新增 AI Training 与 AI Grounding 两类偏好 https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/ The Verge：报道四大 AI 公司共同支持统一的退出抓取信号 https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out SiliconANGLE：梳理 IETF 草案与该机制的适用范围边界 https://siliconangle.com/2026/10/30/google-anthropic-and-others-to-support-new-ai-crawling-opt-out-standard/ 海峡时报：报道出版商可用新方式屏蔽部分 AI 抓取 https://www.straitstimes.com/world/ai-giants-promise-publishers-new-way-to-block-some-scraping PPC Land：报道 OpenAI、谷歌、微软与 Anthropic 共同支持退出抓取 https://ppc.land/google-microsoft-openai-and-anthropic-back-one-ai-training-opt-out/