事件详情2026年7月1日,互联网基础设施巨头Cloudflare发布多项重磅新规,彻底改变AI公司与内容创作者之间的数据获取规则。首先,Cloudflare宣布将AI爬虫拆分为三大类别——搜索类(Search)、训练类(Training)和智能体类(Agent),每类爬虫必须明确声明身份并使用独立访问令牌和可验证IP段。其次,从2026年9月15日起,所有使用Cloudflare服务的含广告页面将默认屏蔽混合用途的AI训练爬虫和Agent爬虫,网站主可手动决定允许哪些类型访问。第三,Cloudflare同步推出货币化网关(Monetization Gateway),基于全新的x402协议,允许网站主对AI爬虫的数据抓取按次收费,支持使用加密稳定币进行微支付结算。据Cloudflare监测数据,2026年上半年全球互联网Bot流量首次超过人类流量,AI Agent的爆发使这一转折点比预期提前一年到来。Cloudflare CEO Matthew Prince表示,如果不改变当前模式,五年内机器与人类流量比将达到1000:1,传统的"内容换注意力"商业模式将彻底崩溃。Cloudflare强调,Google等公司的混合爬虫同时服务于搜索索引和AI训练,让内容发布者难以区分拒绝AI训练而不影响搜索收录,新规将强制AI公司拆分爬虫功能。
背景Cloudflare是全球最大的内容分发网络(CDN)和网络安全服务商之一,为全球超过20%的互联网流量提供底层基础设施,包括DDoS防护、DNS解析、Web应用防火墙等服务,被称为"互联网守门人"。过去十余年,Cloudflare以免费提供抗攻击和加速服务著称,在中小网站和独立博客中拥有极高口碑。然而,随着生成式AI在2024-2026年爆发式增长,AI公司的训练爬虫和Agent爬虫持续大规模抓取互联网内容,却不为内容生产者带来任何流量或广告收益。前OpenAI CTO Mira Murati创立的Thinking Machines Lab等新公司,以及Anthropic、OpenAI等头部AI企业,都依赖大规模网页抓取来训练模型或运行AI Agent。与此同时,AI Agent正成为互联网的新型"用户",它们浏览网页、消费API资源,但不会点击广告也不会订阅服务。Cloudflare此前已推出AI爬虫分类工具和"按抓取付费"功能,此次将默认策略从"允许"改为"屏蔽",标志着互联网基础设施层首次对AI数据获取方式进行系统性立法。
影响
总结Cloudflare的AI爬虫新政是互联网经济从"注意力时代"向"使用量时代"转型的标志性事件。当AI Agent和训练爬虫的流量超过人类流量时,传统的广告支撑型内容生产模式面临根本性挑战。Cloudflare通过基础设施层的默认设置变更,实际上建立了一套AI公司为互联网内容付费的标准框架。从2026年9月15日的执行期限到x402协议的微支付基础设施,Cloudflare不仅是在保护内容创作者的利益,更是在定义AI时代互联网数据流通的基本规则。这一举措将倒逼AI产业链重构其数据获取策略,从"先抓取、后协商"的野蛮生长模式转向"先付费、后使用"的规范模式。对于整个AI行业而言,2026年7月可能标志着"数据免费时代"的终结和"数据付费时代"的开端,其对AI训练成本、模型能力分布和互联网内容生态的影响将在未来数年内持续显现。







