Firecrawl 网页抓取技能（Scrape Web Pages Into Clean Markdown） Skill 技能

技能简介

Firecrawl Scrape 是一款把网页「洗」成干净 Markdown 的 Agent Skill，由 Firecrawl 官方团队开源维护，采用 MIT 协议，支持 Claude、Codex、Claude Code 三类工具。很多网页的关键内容是用 JavaScript 动态渲染出来的，普通抓取工具拿到手的往往是一堆导航栏、广告和页脚的噪声，正文反而丢了。Firecrawl Scrape 通过 Firecrawl CLI 把目标 URL 抓取为「LLM 友好」的 Markdown（也可选 links、screenshots、HTML、rawHtml、JSON 等格式），并支持主内容提取模式，自动过滤掉导航与页脚噪声。对于需要把网页喂给大模型做二次处理的研究者、开发者和内容团队来说，它等于一个稳定的「网页到文本」前置管道。该技能质量分 77、官方审核状态 complete，属于可直接上手的实用型工具。

核心能力

1. 单页或多页批量抓取：一条命令即可抓取一个或多个 URL，并支持并发处理，便于成批采集资料。
2. 主内容自动提取：可要求只保留页面正文，大幅减少导航、广告、页脚等无关元素带来的干扰。
3. 多格式输出：除标准 Markdown 外，还能返回链接列表、网页截图、HTML、原始 HTML 与结构化 JSON。
4. JavaScript 渲染支持：对需要脚本渲染才能呈现内容的页面，可先等待再抓取，避免抓到空壳页面。
5. 定向问答模式：通过 query 模式针对某一页面直接提问，例如从定价页里抽取企业版包含哪些功能。
6. 本地结果落盘：抓取结果保存到本地 .firecrawl 目录，便于后续检索、比对与复用。

安装配置

1. 确认本机已安装 Node.js 环境，能够运行 npx 命令。
2. 执行 npx skillstore add firecrawl/firecrawl-scrape 安装该技能。
3. 按 Firecrawl 官方要求配置 CLI 与访问凭据，确保网络请求可正常发出。
4. 在支持的工具（Claude / Codex / Claude Code）中启用该 Skill，即可在会话内调用。

使用步骤

1. 明确目标 URL：整理需要抓取的页面地址，判断是否需要主内容模式。
2. 发起抓取：向 Agent 描述「把某个 URL 抓成干净 Markdown 并保存到 .firecrawl」。
3. 等待渲染：对动态页面说明需要等待脚本渲染，确保正文完整。
4. 指定输出格式：按需求补充「同时返回链接」「输出 screenshot」等要求。
5. 校验与二次处理：检查抓取结果，再交给模型做摘要、信息抽取或迁移。

适用场景

1. 研究资料采集：在做文献或行业调研前，先把来源网页抓成 Markdown，再统一摘要与比对。
2. 产品页面分析：批量收集竞品定价、功能清单、FAQ 内容，形成可对比的结构化素材。
3. 开发文档入库：把官方文档抓成干净文本，便于迁移、检索或喂给模型做问答。
4. 内容监控与归档：定期抓取指定页面并落盘，形成可追溯的内容快照。

适用人群

• 需要大量采集网页文本的研究人员与分析师
• 做数据管线、需要稳定网页输入源的开发者与数据工程师
• 需要整理竞品与市场信息的产品与运营团队
• 搭建 RAG 知识库、需要高质量网页语料的AI 应用开发者

工作原理

技能本身是围绕 Firecrawl CLI 的结构化使用指南。当用户提出抓取请求时，Agent 按预定义流程调用 Firecrawl 接口：先获取页面，必要时等待 JavaScript 渲染完成，再执行主内容提取算法剥离模板噪声，最后把正文转换成 Markdown 等目标格式并写入本地 .firecrawl 目录。整个过程把「网页→可用文本」的脏活固化下来，用户只需描述意图，无需手写抓取脚本。

官方链接

• 技能页面：https://skillstore.io/skills/firecrawl-firecrawl-scrape
• 项目仓库：https://github.com/firecrawl/cli
• 安装命令：npx skillstore add firecrawl/firecrawl-scrape