时间：2026年7月1日（政策公告日），持续影响至7月7日
地点：美国加利福尼亚州旧金山（Cloudflare全球总部）
人物：Cloudflare（互联网基础设施服务商，全球超20%流量经其网络处理）及其首席执行官Matthew Prince；全球AI公司（OpenAI、Anthropic、Google、Meta等）；内容出版商与网站所有者
事件详情：2026年7月1日，互联网基础设施巨头Cloudflare发布多项重磅新规，彻底改变AI公司与内容创作者之间的数据获取规则。首先，Cloudflare宣布将AI爬虫拆分为三大类别——搜索类（Search）、训练类（Training）和智能体类（Agent），每类爬虫必须明确声明身份并使用独立访问令牌和可验证IP段。其次，从2026年9月15日起，所有使用Cloudflare服务的含广告页面将默认屏蔽混合用途的AI训练爬虫和Agent爬虫，网站主可手动决定允许哪些类型访问。第三，Cloudflare同步推出货币化网关（Monetization Gateway），基于全新的x402协议，允许网站主对AI爬虫的数据抓取按次收费，支持使用加密稳定币进行微支付结算。据Cloudflare监测数据，2026年上半年全球互联网Bot流量首次超过人类流量，AI Agent的爆发使这一转折点比预期提前一年到来。Cloudflare CEO Matthew Prince表示，如果不改变当前模式，五年内机器与人类流量比将达到1000:1，传统的"内容换注意力"商业模式将彻底崩溃。Cloudflare强调，Google等公司的混合爬虫同时服务于搜索索引和AI训练，让内容发布者难以区分拒绝AI训练而不影响搜索收录，新规将强制AI公司拆分爬虫功能。
背景：Cloudflare是全球最大的内容分发网络（CDN）和网络安全服务商之一，为全球超过20%的互联网流量提供底层基础设施，包括DDoS防护、DNS解析、Web应用防火墙等服务，被称为"互联网守门人"。过去十余年，Cloudflare以免费提供抗攻击和加速服务著称，在中小网站和独立博客中拥有极高口碑。然而，随着生成式AI在2024-2026年爆发式增长，AI公司的训练爬虫和Agent爬虫持续大规模抓取互联网内容，却不为内容生产者带来任何流量或广告收益。前OpenAI CTO Mira Murati创立的Thinking Machines Lab等新公司，以及Anthropic、OpenAI等头部AI企业，都依赖大规模网页抓取来训练模型或运行AI Agent。与此同时，AI Agent正成为互联网的新型"用户"，它们浏览网页、消费API资源，但不会点击广告也不会订阅服务。Cloudflare此前已推出AI爬虫分类工具和"按抓取付费"功能，此次将默认策略从"允许"改为"屏蔽"，标志着互联网基础设施层首次对AI数据获取方式进行系统性立法。
影响：
- 对AI公司而言，训练数据获取成本将大幅上升。Cloudflare覆盖超20%的全球网站流量，其默认屏蔽将迫使OpenAI、Anthropic、Google等公司重新设计爬虫架构，将搜索爬虫、训练爬虫和Agent爬虫彻底拆分。那些无法证明爬虫单一用途的公司将面临大面积访问受限。涉及大量中小网站的AI训练数据获取渠道将显著收窄，推动AI企业转向付费获取高质量内容的模式。
- 对内容创作者和出版商而言，这是多年来首次获得从AI公司收回数据价值的机会。x402协议配合加密稳定币的微支付模式，让网站主无需自建支付系统即可对每次AI抓取收费。大型媒体集团、个人博客、学术机构等均可按照自己的定价策略向AI公司收取数据使用费，有望催生全新的"内容即API"商业模式。
- 对Google而言，这是其搜索业务面临的最大结构挑战之一。Cloudflare明确批评Google将其主导的搜索爬虫与AI训练爬虫捆绑，导致网站主无法独立拒绝AI训练数据的获取。新规要求Google等搜索引擎在2026年9月前将搜索爬虫完全独立，这对Google AI Overviews和Gemini的数据来源构成潜在冲击。Google此前已推出Google Extended工具允许网站退出AI训练，但Cloudflare的强制分类标准远超自愿机制的约束力。
总结：Cloudflare的AI爬虫新政是互联网经济从"注意力时代"向"使用量时代"转型的标志性事件。当AI Agent和训练爬虫的流量超过人类流量时，传统的广告支撑型内容生产模式面临根本性挑战。Cloudflare通过基础设施层的默认设置变更，实际上建立了一套AI公司为互联网内容付费的标准框架。从2026年9月15日的执行期限到x402协议的微支付基础设施，Cloudflare不仅是在保护内容创作者的利益，更是在定义AI时代互联网数据流通的基本规则。这一举措将倒逼AI产业链重构其数据获取策略，从"先抓取、后协商"的野蛮生长模式转向"先付费、后使用"的规范模式。对于整个AI行业而言，2026年7月可能标志着"数据免费时代"的终结和"数据付费时代"的开端，其对AI训练成本、模型能力分布和互联网内容生态的影响将在未来数年内持续显现。
参考来源：
- https://blog.cloudflare.com/monetization-gateway/
- https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/
- https://baijiahao.baidu.com/s?id=1869574105716261107
- https://news.sina.cn/ai/2026-07-02/detail-inifmfcu5870738.d.html
- https://www.163.com/dy/article/L0Q2FNFS05561FZJ.html
- http://finance.sina.com.cn/wm/2026-07-07/doc-inifxtrf1571462.shtml
- https://www.163.com/dy/article/L0Q92F5205561FZQ.html
- https://finance.sina.cn/2026-07-06/detail-inifwsct1807762.d.html