Cloudflare三分类管控AI爬虫 默认屏蔽训练代理

时间：2026年7月25日 地点：美国旧金山 人物：Cloudflare CEO Matthew Prince 事件详情：Cloudflare于2026年7月25日发布"第二次内容独立日"方案，向全网用户上线三类AI爬虫精细化管控选项。客户可在Search（搜索抓取）、Agent（智能体执行）与Training（训练采集）三个维度分别设置允许或拒绝，Free订阅档也可使用。Cloudflare宣布2026年9月15日起对新接入域名默认行为做出调整：在含广告的页面，Training与Agent两类爬虫默认被屏蔽，仅Search保留。同时多用途爬虫（如Googlebot、Applebot、BingBot）按最严策略合并判定，意味着若网站主屏蔽Training，则Googlebot也一并被封。Prince指出，互联网机器流量已超过人工流量，比他2027年底的预测提前数年，AI Agent被指为主要推手。 背景：2024年7月，Cloudflare发起首次"内容独立日"，上线一键屏蔽AI Bots与按次付费抓取（Pay-Per-Crawl）市场。一年来Google搜索份额下滑、AI回答式搜索渐成主流，出版商普遍发现流量与变现被AI分走。Cloudflare认为传统的"我爬你内容、你换流量"契约已失效，2025年起业界出现更细致诉求，希望对训练、智能体和搜索等不同用途区别对待。本次升级进一步将判断从"是不是AI"切到"它在做什么、存什么、再分享什么"。 影响： - 内容创作者可直接对AI训练与Agent抓取设卡而保留搜索收录，避免一刀切屏蔽带来的可见性损失。 - Googlebot等多用途爬虫被纳入最严规则，对同时承担搜索+训练任务的厂商形成显著合规压力，可能推动其拆分用户代理。 - 网站主可对展示广告的页面默认拒绝训练与代理抓取，强化变现端的版权谈判筹码。 - Cloudflare从被动拦截转向主动分类计价，加速AI公司与出版商之间的按量结算生态成形。 总结：Cloudflare用一套三分法接管了AI爬虫治理的话语权，把"该不该爬"的争论拆成"为什么爬"。短期看，训练数据获取成本上升，依赖通用爬取做模型训练的公司将被迫与出版商达成付费协议；中长期看，按用途定价可能成为AI数据要素市场的默认骨架，Web从被爬取时代进入按价抓取时代。 参考来源： - https://blog.cloudflare.com/content-independence-day-ai-options/ - https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/ - https://blog.cloudflare.com/introducing-pay-per-crawl/ - https://the-decoder.com/?s=Cloudflare - https://news.ycombinator.com/item?id=49052564 - https://www.cloudflare.com/