wet-mcp Skill 技能

技能简介

wet-mcp（Web Extended Toolkit MCP Server）是一款面向 AI Agent 的开源 MCP 服务器，专注于三大核心能力：网页搜索、内容提取和代码库文档问答。它由开发者 n24q02m 构建和维护，当前版本为 3.x，已从早期仅做网页抓取的工具演进为一个完整的 AI Agent Web 操作中间件，支持 daemon 模式、HTTP 远程中继和多步研究任务。

核心能力

1. 智能网页搜索：基于 SearXNG 的聚合搜索，支持语义去重、结果清洗和媒体资源过滤，搜索结果可直接注入 Agent 上下文。
2. 多步内容提取（extract.agent）：给定一个研究主题，自动执行多轮搜索→抓取→摘要→引用的完整研究链路，输出带引用来源的综合报告。
3. 交互式页面操作（extract.interact）：通过 patchright 模拟浏览器行为，支持点击、表单填写、内容提交等交互操作，可选会话持久化。
4. 代码库文档搜索（docs）：支持 Tier 1（常用库如 requests、pandas）和 Tier 2（其他热门库）的版本感知文档索引查询，带 token 用量上限控制。
5. 本地缓存与去重：相同 URL 的内容在 Cabinets 项目锁内缓存，避免重复抓取。
6. CLI 优先设计：主入口为 wet 命令（pip install wet），MCP 服务器作为子功能运行，无需额外部署。
7. daemon + HTTP 远程中继模式：支持长运行 daemon 进程，多个 AI 客户端通过 HTTP 中继远程调用，适合团队共享。
8. Semantic Release 自动版本管理：项目使用语义化版本发布，版本更新规范可靠。

安装配置

环境要求

• Python 3.9+
• pip 或 uv
• 可选：SearXNG 实例（用于搜索），patchright（用于交互式抓取）

安装方式

# 安装主包（包含 CLI + MCP 服务器）
pip install wet

# 验证安装
wet --version

交互式抓取支持（可选）

pip install patchright
patchright install chromium  # 下载 Chromium 浏览器

MCP 客户端配置

在 MCP 客户端配置文件中添加：

{
  "mcpServers": {
    "wet": {
      "command": "wet",
      "args": []
    }
  }
}

也可通过 Docker 运行远程共享实例：

docker run -p 8080:8080 ghcr.io/n24q02m/wet:latest

使用步骤

1. 安装：执行 pip install wet，完成后运行 wet --version 确认安装成功。
2. 配置 SearXNG（可选）：默认使用公共 SearXNG 实例，也可自建或指定实例 URL。
3. 启动 MCP 服务器：在支持 MCP 协议的 AI 助手中加载 wet 服务器，工具列表自动注册。
4. 发起网页搜索：使用 search 工具，指定查询词和结果数量上限，AI 自动获得清洗后的搜索结果。
5. 执行内容提取：使用 extract 工具对单个 URL 或研究主题进行深度内容提取。
6. 文档问答：使用 docs 工具查询代码库 API 用法，如 docs requests.get。

适用场景

1. AI 研究助手：对任意主题进行多轮网络研究，自动生成带来源引用的研究报告。
2. 技术文档问答：查询 Python 库（如 pandas、requests）的官方文档用法，无需跳出 AI 对话。
3. 竞品分析：批量抓取多个竞品官网内容，AI 自动整理成结构化对比报告。
4. 新闻监控：定期搜索特定关键词（如"AI agent"、"MCP"），AI 自动摘要最新动态。
5. 网页数据采集：需要从网页提取结构化数据但不想手动写爬虫的场景。
6. 交互式表单操作：需要登录或填写表单才能访问的内容抓取场景。

适用人群

• 构建 AI 研究 Agent 的开发者
• 需要实时网络信息注入的 LLM 应用
• 技术写作者需要快速查阅官方文档用法
• 数据工程师需要从网页采集结构化数据

工作原理

wet-mcp 的核心分为三个模块：search（基于 SearXNG API）、extract（基于 HTTP 客户端 + BeautifulSoup + 可选 patchright 浏览器）、docs（基于预构建的代码库索引）。search 模块将查询转发至 SearXNG 实例并清洗返回的 HTML 结果；extract 模块使用 HTTP GET 获取页面内容，解析 HTML 提取正文，通过 AI 摘要生成结构化输出；docs 模块使用 Cabinets 项目锁定特定版本的代码库文档，用 token 上限控制每次查询的上下文大小，避免超出 LLM 上下文窗口。三个模块均通过 MCP 协议的标准工具接口暴露给 AI 助手。

官方链接

• GitHub：https://github.com/n24q02m/wet
• PyPI：https://pypi.org/project/wet-mcp/
• 文档：https://mcp.n24q02m.com/get-started/modes-overview/