事件详情互联网基础设施巨头Cloudflare于7月1日宣布一项重大政策变更:从2026年9月15日起,Cloudflare的默认设置将自动阻止"混合用途"的网络爬虫访问任何展示广告的页面。所谓"混合用途"爬虫,是指那些同时用于搜索引擎索引、AI训练和AI智能体服务的爬虫程序。新的默认设置将适用于所有新Cloudflare客户、现有客户的新建站点以及所有现有免费客户。站点所有者可以自行调整设置来改变这一行为。Cloudflare此举实质上是在向AI公司施压:如果他们想继续抓取出版商的内容用于AI训练,就必须将用于搜索索引的爬虫与用于AI训练和智能体的爬虫明确分离,否则将被默认屏蔽。
背景近年来,AI公司与内容创作者之间的版权争议愈演愈烈。主流AI公司使用网络爬虫抓取大量网页内容用于训练大语言模型,而内容创作者和出版商认为这构成了未经授权的版权使用。此前,OpenAI、Google等公司与多家新闻机构签署了内容授权协议,但更多的中小型出版商并未获得任何补偿。Cloudflare作为全球最大的CDN和网络安全服务商之一,服务着全球数百万网站,其网络爬虫管理政策对互联网生态具有重大影响力。业内分析认为,Cloudflare此举将加速推动AI公司建立透明的爬虫分类标准,并促进AI公司与出版商之间形成更公平的内容付费机制。
影响
总结Cloudflare的这项政策变更标志着AI内容获取从"野蛮生长"进入"规范付费"时代的重要转折。通过强制AI公司将搜索爬虫与训练爬虫分离,Cloudflare实质上在为内容创作者和出版商创造议价空间——让他们能够决定自己的内容是否被用于AI训练以及以何种条件被使用。这不仅是技术层面的调整,更是对AI行业"先抓取再谈判"模式的根本性挑战。随着9月15日截止日的临近,AI公司与出版商之间的博弈将进入新的阶段,内容生态的公平性制度建设正在加速推进。







