AI爬虫已经比你更快用上HTTP/3了——这件事今天把前端基础设施的账全变了

AI爬虫已经比你更快用上HTTP/3了——这件事今天把前端基础设施的账全变了

你花了好几个月把网站的 HTTP/2 配置调了一遍又一遍,Core Web Vitals 全绿,感觉自己在性能这件事上没有进步空间了。

然后你打开 Cloudflare Radar 的报告一看:AI 爬虫已经在用 HTTP/3 了,而你的真实用户可能还有一半在跑 HTTP/1.1。

这件事今天被两份数据彻底扒开了。


数字说话

Cloudflare Radar 2026 年 1 月年度报告里有一行容易被忽略的数据:HTTP/3 over QUIC 现在承载了 Cloudflare 全球网络中 38% 的 HTTP 流量,高于 2025 年初的 29%,更远高于 2022 年的个位数。

这是 CDN 层面的数字。单看 AI 爬虫的流量,故事完全不同:

GPTBot、ClaudeBot、Google-Extended、PerplexityBot 四个主流 AI 爬虫,在 Q4 2025 通过 Cloudflare 发起的 HTTP/3 请求占比达到了 67%

一年前的 Q4 2024,这个数字是 14%

从 14% 到 67%,只花了一年。人类互联网的 HTTP/3 采用率花了好几年才从个位数爬到 30% 左右,AI 爬虫只用 12 个月就跑完了全程。

The State of Web Vitals 2026(189,915 个站点的 Q2 数据)给出的是另一个视角:

  • 人类流量里,HTML 文档通过 HTTP/3 送达的比例是 23.6%
  • 但这个比例在不同市场差异巨大:意大利 30%、巴西 29%、印度 29%——这些移动优先的市场里 CDN 推 HTTP/3 推得最凶
  • 企业网络里 UDP 端口被封的比例不低,这是 HTTP/3 采用率的硬天花板

为什么 AI 爬虫比人类更快切换

这不是因为 AI 爬虫更先进,而是因为 HTTP/3 对爬虫场景的价值比对人更大

HTTP/3 的核心改进有三个:

1. 消除队头阻塞

HTTP/2 over TCP 时,一个数据包丢失会让连接上所有并发请求全部停等。HTTP/3 over QUIC 把这个机制搬到了传输层——丢包只影响丢包所在的那个流,其他流照常跑。

对人类用户来说,一个页面通常开 5~10 个连接,队头阻塞的影响有限。对 AI 爬虫来说,一个 session 要从同一个 origin 抓 40+ 个子资源,全部走一个 QUIC 连接,一旦丢包影响面大得多。

2. 0-RTT 恢复

QUIC 把传输握手和 TLS 握手合并成一次往返。恢复连接时(0-RTT),第一个包就能带应用数据,不需要等握手完成。

AI 爬虫通常在短时间内对同一域名发起大量请求,0-RTT 的累积节省非常可观。这和人类用户的行为模式完全不同——人不会在 30 秒内抓同一个网站 50 个页面。

3. 连接迁移

爬虫的 IP 地址经常在短时间内变化(比如从不同数据中心出口),QUIC 支持连接在 IP 变化时保持不断开。


对前端工程师意味着什么

大多数前端性能优化指南都在教你怎么让 Lighthouse 分数更好看。但 AI 爬虫不是 Lighthouse——它的爬取逻辑、优先级判断、对你网站的评价,跟 Core Web Vitals 没有直接关系。

Cloudflare 的报告里还有一条:大约一半的公开网站的源站没有跟上 CDN 的 HTTP/3 普及速度。具体来说,Cloudflare 和 Fastly 的 HTTP/3 是默认开启的,但 AWS CloudFront 要每个 distribution 手动 opt-in,Akamai 是 2022 年才上的,Azure Front Door 2023 年才 opt-in。

如果你的站点在 CloudFront 后面,HTTP/3 能力取决于你有没有主动配置 aws cloudfront create-distribution 时加上对应的 HTTP/3 头,或者你的 CDN 提供商有没有帮你做好 Alt-Svc 广播。

这个账怎么算:

  • 如果你的内容是给 AI 爬虫读的(文档站、API 文档、产品页面),HTTP/3 的抓取效率直接影响 AI 对你的内容的理解完整度
  • 如果你发现 AI 搜索结果里你的页面信息残缺,先查的不是内容质量,是网络层
  • 如果你想知道自己的站点在 AI 爬虫眼里的连接效率:用 curl --http3 -I 测一下,看看是不是真的走了 HTTP/3

一个命令测出来

# 测试你的站点是否支持 HTTP/3
curl --http3 -I https://你的域名.com

如果返回 HTTP/3 200,说明源站或 CDN 已经正确广播了 Alt-Svc,AI 爬虫会优先使用 HTTP/3。

如果返回的是 HTTP/2 或者直接报错,说明 AI 爬虫到了你的服务器还在协商降级。


你花了多少时间调 Lighthouse 分数?花了多少时间确认你的 CDN 配置真的在给 AI 爬虫开 HTTP/3 的门?

这两个问题的答案,可能比你想象的重要得多。

评论区

0 条评论

登录后可评论。

阿柯·前端架构 11 阅读