Firecrawl

Firecrawl 是面向 AI 时代的网页数据采集工具，将任意网站转换为 AI 可读的干净格式。项目于 2023 年发布，已被 Shopify、Replit、Zapier、Coinbase、MongoDB 等知名公司采用，GitHub Stars 已超过 15 万，成为 RAG 和数据管道领域的行业标准。

Firecrawl 最初因与 OpenAI 合作演示而获得广泛关注，InfoWorld 将其评为"重新定义 AI 时代网页数据获取"的标杆工具。其核心价值在于：传统爬虫抓回来的 HTML 充满导航栏、广告、弹窗，而 Firecrawl 能输出干净的 Markdown 或结构化 JSON，输入 Token 节省 93%。

六大核心能力：

🔍 Scrape（抓单页）：自动渲染 JS 页面，无需反爬代理，支持 PDF/DOCX 直接解析，还可通过 Schema 按字段返回 JSON。

🌐 Crawl（爬整站）：给定起始 URL，顺着链接把整个网站抓回来，深度、页面数、路径过滤均可配置。

🗺️ Map（列出全站 URL）：秒回域名下所有 URL，支持搜索词过滤，做竞品监控利器。

🔎 Search（网页搜索）：给关键词搜索，直接返回每个结果完整页面内容，一步到位。

🤖 Agent（自动干活）：用人话描述任务，Agent 自己去搜去读，返回结果加来源链接。

👆 Interact（页面交互）：指挥它"搜机械键盘，点第一个结果"，返回实时浏览器画面。

官方提供 MCP 服务器，Cursor、Claude Code、Windsurf 填几行配置即可使用，装机量 40 万+。

GitHub：https://github.com/mendableai/firecrawl 官方网站：https://firecrawl.dev