Crawl4AI

Crawl4AI 是一款开源的 AI 友好型网页爬虫与数据提取工具，专为大语言模型（LLM）、AI Agent 和数据管道场景设计。它能够将任意网页快速转换为干净、结构化的 Markdown 格式，无需配置 API Key，开箱即用。Crawl4AI 最初由 NLP 研究者于 2023 年开发，因不满当时商业爬虫服务的高昂价格和繁琐限制，用几天时间完成原型并开源，随后在 GitHub 迅速走红，目前星标数已超过 5 万，是同类项目中星标最高的开源爬虫工具。

核心功能

LLM 友好输出：将网页内容智能转换为 Markdown 格式，保留标题层级、表格结构、代码块和引用提示，大幅减少 LLM 的上下文消耗，提升 RAG 和知识库构建效率。

极速异步爬取：内置异步浏览器池、缓存机制和多跳优化，单次爬取延迟低至毫秒级，支持大规模并发任务。

深度自适应爬取：内置信息觅食算法，自动判断页面价值，决定是否继续深入爬取，避免无效请求，节省时间和资源。

全功能浏览器控制：支持会话管理、代理切换、Cookie 持久化、用户脚本注入、钩子（Hook）扩展，可应对复杂登录态和反爬场景。

反爬与隐身模式：集成 Anti-Bot 对抗策略和 Undetected Browser Session，自动绕过主流网站的爬虫检测。

多格式输出：除 Markdown 外，还支持纯文本、HTML、JSON 结构化数据输出，可根据下游任务灵活选择。

PDF 解析与提取：内置 PDF 解析模块，支持从 PDF 文件中提取文本和结构化内容。

Docker 一键部署：提供官方 Docker 镜像，零依赖安装，支持在本地、云端和 Kubernetes 环境中快速部署。

最新 v0.9.x 版本新增了 Docker API 服务器安全加固、GPU 加速支持和崩溃恢复机制。