Meta爬虫55万次访问 创作者网站主机资源被耗尽

时间：2026年11月3日。事件的原始报道来自Fast Company与Business Insider，中文媒体在11月3日集中跟进。 地点：美国加利福尼亚州圣地亚哥（绘本作家切尔西·保卢斯的四个网站）与澳大利亚（数字设计工作室经营者罗宾·高夫的站点），被压垮的是两家小微企业各自的网站托管服务器。 人物：切尔西·保卢斯（Chelsea Paulus），儿童绘本作家兼插画师，经营个人网站十年，去年转为全职创作者，此前有科技与网页设计背景；罗宾·高夫（Robyn Gough），澳大利亚一家小型数字设计工作室的经营者；乔纳森·哈本（Jonathan Harborne），LGBT历史项目网站创建者；Meta发言人；Meta传播副总裁安迪·斯通（Andy Stone）。 事件详情：10月24日，保卢斯收到主机服务商SiteGround的预警邮件，分配给她的CPU资源已经被用掉80%。她有网页设计背景，流量异常时很快察觉，用WordFence查看访问日志发现每秒有十几次请求涌入，来源IP归属Meta位于达拉斯的节点，访问程序标识为Meta External Agent。Fast Company报道称，该爬虫卡在她网站的「从购物车移除」功能上，每分钟产生上百次请求，几天内累计约55万次访问；她随即修改robots.txt并配置防火墙，但这些规则生效往往需要24小时，最后是SiteGround提供一段加进.htaccess隐藏配置的代码才真正挡住。两天后第二个爬虫Meta Web Indexer出现，把主机资源占用直接拉满，网站持续不稳定，她不得不把Instagram主页里的网站链接删掉，避免真人访客叠加爬虫流量把站点彻底压垮。Meta的开发者文档把Meta External Agent定义为面向基础大模型训练、或直接索引内容以改进产品的全网抓取程序，把Meta Web Indexer定义为浏览网页以提升Meta AI搜索结果质量的爬虫。Meta发言人表示，网站运营方可以通过robots.txt这类工具决定爬虫与站点的交互方式，公司公开提供对应的robots.txt配置指引，并尊重站点所有者设置的规则。 背景：澳大利亚设计师罗宾·高夫的遭遇提供了另一组量级：9月30日至10月28日之间，她的服务器向外输出了2.45TB数据，其中97.6%流向Meta的两只爬虫，Meta External Agent占2.29TB，Meta WebIndexer占107GB，日志记录到94,154次对图片压缩包与小型PDF的自动下载。她在10月26日屏蔽Meta External Agent之后，Meta WebIndexer的请求量从不足100次跳到约6700次；截至10月31日，后台记录到Meta WebIndexer被拒绝约9400次。8月她还因为2.57TB流量超过2TB的VPS限额，被主机商多收了10.51美元。Meta在10月初公布的商业条款更新允许抓取商业账号产生的内容用于广告与产品改进，起始时间从10月30日推迟到11月20日，Meta上周表示将面向行业组织做一轮完整咨询，传播副总裁安迪·斯通在X上称咨询很可能超过11月20日。Cloudflare的数据显示，过去四周机器人占美国网络流量的55.1%。目前在法律层面，并没有禁止AI爬虫访问公开可浏览网站的条款。 影响：对内容创作者和中小站点来说，这暴露的是AI训练与AI搜索索引的取数成本正在由网站一方承担：爬虫不带来广告也不带来客户，只消耗主机资源与带宽，而挡它的手段要逐个爬虫单独配置，且生效存在延迟。更值得注意的是Meta条款更新的方向，把抓取商业账号内容写进条款，等于让被动接受抓取变成一种默认授权，防守成本则被推给没有开发者的微小企业。另一层影响在生态侧：像保卢斯和高夫这样的站点一旦扛不住流量，结果只能是加钱升级资源配额或者购买防护服务，最终抬高中小网站在AI时代的运营成本。 总结：这起事件的价值不在于一次爬虫抓取失控，而在于它把AI数据抓取的成本收益关系摆到了明面上：模型公司免费取用内容，网站方承担服务器与带宽成本，没有任何一条规则要求对等回报。Meta已经在条款层面准备把抓取商业账号内容合法化，站点方却仍只能靠逐个屏蔽爬虫来止损。对做内容和做产品的团队来说，现在就该做的是把爬虫流量纳入服务器监控、提前配置可用的拦截规则，而不是等网站被压垮之后再救火。 参考来源： IT之家：Meta 爬虫疯狂涌入，一艺术家网站被挤爆 https://www.ithome.com/1/021/784.htm Pivot News：Meta AI crawlers crash small business sites despite robots.txt blocks https://pivotnews.ai/five/meta-ai-crawlers-crash-small-business-sites-despite-robots 驱动中国：Meta爬虫致创作者网站遭55万余次访问 https://app.qudong.com/article/528408.html 新浪网：Meta两AI爬虫涌入，作家网站带宽被薅空 https://k.sina.com.cn/article_1826017320_6cd6d02804001ymy4.html 奇趣网：Meta爬虫单周访问55万次致创作者网站资源耗尽 https://qifukexue.com/?p=43635 528财经：一位艺术家称Meta机器人淹没了她的网站，令她忙于保住生意 https://www.528btc.com/column/article/1260033.html