GitHub 上发现一个 7.9 万 star 的 AI 爬虫工具：Crawl4AI。
核心功能：
• 开源 LLM 友好的网页爬虫和抓取工具
• 不需要 API Key，pip install 直接装
• 爬取结果输出 Markdown，方便给 LLM、RAG、Agent 用
技术亮点：
- 支持 JavaScript 渲染（16 种策略）
- 支持多浏览器并发
- 支持 Docker/GPU 部署
- 内置数据提取和结构化
适用场景：
- 给 RAG 系统爬取网页数据
- 给 Agent 提供网页内容
- 批量抓取和转换网页为 Markdown
为什么选它？
• 专门为 LLM 设计，输出格式友好
• 开源免费，没有 API 限制
• 社区活跃，GitHub 7.9 万 star
• 支持复杂网页（SPA、动态加载）
GitHub：unclecode/crawl4ai
你们做爬虫用什么工具？
显示更多
话题来源 @kun66666677
· 15.3K阅读 · ❤️192
