Firecrawl 单页抓取技能(firecrawl-build-scrape) Skill 技能
## 技能简介 Firecrawl Single-Page Scraping(firecrawl-build-scra
技能简介
Firecrawl Single-Page Scraping(firecrawl-build-scrape)是 Firecrawl 官方维护的 Claude/Codex 技能,用于把「已知单个 URL 的网页抓取」能力快速接入到应用中。它不做模糊的整站爬取,而是专注一件事:给定一个明确地址,返回干净、可用的页面内容(默认 Markdown),并在需要时附带 HTML、链接、截图、元数据或结构化输出。对于需要把网页正文喂给检索管线、做页面变更监控,或给用户加一个"输入网址就能提取内容"功能的开发者来说,它提供了一套小而专的落地指引。
核心能力
- 指导何时该用 Firecrawl 的 /scrape 接口处理单个已知 URL,避免过度设计
- 默认推荐 Markdown 作为页面内容输出格式,便于后续清洗与入库
- 说明何时需要额外请求 HTML、链接、截图、元数据或结构化字段
- 建议对含大量导航噪声的文章类页面启用 onlyMainContent,提升正文纯度
- 把「缺失 URL」场景路由到搜索能力、把「交互型页面」路由到交互指引
- 附带 Node、Python、Rust、Java、Elixir 与 REST 多语言官方文档链接
安装配置
在支持 Skillstore 的宿主环境中,通过一条命令即可安装:
npx skillstore add firecrawl/firecrawl-build-scrape
- 配置好 Firecrawl 的 API Key(环境变量方式),再按需指定输出格式
- 支持的宿主工具:Claude、Codex、Claude Code,安装前审计状态为 complete,允许代理自动安装
使用步骤
- 明确要抓取的目标页面 URL,确认它是"单一已知地址"而非需要搜索发现
- 用技能内的「Add Basic Scrape」提示模板让 Agent 接入 /scrape,返回 Markdown 并保持功能最小化
- 依据页面特征选择输出格式:文章类用 Markdown + onlyMainContent,需要交互或截图时再扩展
- 设计抽取契约(输入 URL 处理、输出字段、错误处理、下游消费者需求)后再进入生产集成
- 用真实页面做验证,确认正文纯净度与字段完整性符合预期
适用场景
- 已知 URL 抽取:用户已提供页面地址,为其增加窄而专的抓取功能
- 检索管线喂数据:从已授权页面采集 Markdown 与元数据,用于索引或内容增强
- 页面变更监控:抓取价格页、更新日志、文档页,做页面级变化比对
- 内容入库预处理:把网页正文转成结构统一的内容块,供后续分析或问答使用
适用人群
适合需要把网页抓取能力集成进产品的前后端开发者、做数据管线的工程师,以及希望给 Agent 增加"读取任意网页"能力的 AI 应用构建者。
工作原理
该技能本质上是一份面向 Agent 的集成指引:它不自己执行抓取,而是教会模型在什么条件下调用 Firecrawl 的 /scrape 端点、如何选择输出格式、如何规整正文。通过把"单页抓取"这一具体任务拆解为格式选择、噪声过滤、契约设计与生产化检查,让 Agent 产出可直接落地的集成代码,而非泛泛的爬虫方案。
官方链接
- 技能页:https://skillstore.io/skills/firecrawl-firecrawl-build-scrape
- 源码仓库:https://github.com/firecrawl/skills/tree/main/skills/firecrawl-build-scrape/
- 质量评分:82(silver 银级),风险等级:safe
团队信息
AI产品库
官方
由 AI 猎手自动发现
评论与建议
登录 后参与评论或提建议