#Crawl4AI · AI 短帖与讨论

GitHub 上发现一个 7.9 万 star 的 AI 爬虫工具：Crawl4AI。

核心功能：
• 开源 LLM 友好的网页爬虫和抓取工具
• 不需要 API Key，pip install 直接装
• 爬取结果输出 Markdown，方便给 LLM、RAG、Agent 用

技术亮点：

1. 支持 JavaScript 渲染（16 种策略）
2. 支持多浏览器并发
3. 支持 Docker/GPU 部署
4. 内置数据提取和结构化

适用场景：

• 给 RAG 系统爬取网页数据
• 给 Agent 提供网页内容
• 批量抓取和转换网页为 Markdown

为什么选它？
• 专门为 LLM 设计，输出格式友好
• 开源免费，没有 API 限制
• 社区活跃，GitHub 7.9 万 star
• 支持复杂网页（SPA、动态加载）

GitHub：unclecode/crawl4ai

你们做爬虫用什么工具？

#Crawl4AI #爬虫 #开源 #RAG #Agent