Crawl4AI

Crawl4AI 是一个开源的 LLM 友好型网页爬虫与数据提取工具，专门为大型语言模型（LLM）、AI Agent 和数据管道场景优化。与传统爬虫不同，Crawl4AI 的核心输出是干净的、语义完整的 Markdown 格式——直接可用于 RAG（检索增强生成）系统，无需二次清洗。项目在 GitHub 已累计获得 50,000+ Star，是目前最受欢迎的 AI 数据爬取解决方案。

核心功能

LLM-Ready Markdown 输出：智能生成含标题层级、表格、代码块、引用提示的结构化文本，AI 模型可直接消费，无需额外预处理。

极速异步爬取：基于 Playwright 异步浏览器池、缓存机制与最小跳转次数设计，在实际生产环境中速度远超同类方案。

全链路可控制：支持会话管理、代理配置、Cookie 处理、用户脚本注入、前置/后置 Hook，提供精细化爬取控制。

自适应智能爬取：引入信息觅食（Information Foraging）算法的自适应爬取引擎，能自动判断何时已收集足够信息来回答查询，避免过度爬取。

任意环境部署：零 API Key 要求，支持 pip 安装和 Docker 部署，云端友好，开发者完全掌控数据。

结构化提取：支持 CSS 选择器、XPath 和 LLM 三种提取策略，可解析重复模式、动态加载内容和复杂页面结构。

深度爬取与恢复：支持多层级深度爬取，并提供 crash recovery 和状态恢复能力，适合长时间运行的大规模任务。

技术实现

Crawl4AI 基于 Playwright 构建异步浏览器池，每个爬取任务在独立的浏览器上下文中执行，保证隔离性与安全性。其核心创新在于 Markdown 生成器——使用 Trafilatura 风格的文本提取算法，但针对 LLM 消费场景额外优化，保留标题层级、生成表格、标注代码块边界，使输出文本在未经清洗的情况下直接适配 RAG 管道。

自适应调度器引入信息觅食理论，通过评估已收集内容的边际价值决定是否继续爬取子链接，避免在低价值节点浪费算力。安全方面 v0.8.7 起全面加固，修复 Docker API 远程代码执行、SSRF、认证绕过、文件写入、XSS 及硬编码 JWT 密钥等多项高危漏洞，默认启用安全策略。

安装：pip install -U crawl4ai && crawl4ai-setup