webscout-mcp 今日发布

webscout-mcp — AI 驱动的网络智能平台

技能简介

webscout-mcp 是一款面向 AI Agent 的网络智能平台，以 MCP 服务器形式提供服务。它集成了网络搜索、页面抓取、内容提取、网页爬取等核心能力，配合内置 AI 推理、向量搜索、浏览器自动化和监控告警模块，让 AI Agent 能够自主探索、理解和监控互联网上的信息。所有数据处理在本地完成，无需向外传输敏感信息。

核心能力

1. 多后端网络搜索：整合多个搜索后端，结果自动合并去重，支持 web_search 工具
2. 智能页面抓取：web_fetch 工具支持内容提取和解析，无需手动处理 HTML
3. 并发网站爬取：web_crawl 支持深度限制的并发爬取，高效构建数据集
4. 结构化内容提取：web_extract 支持 CSS 选择器精确定位内容，快速提取目标数据
5. 缓存管理：内置缓存系统，cache_stats 和 cache_clear 工具管理缓存命中率和清理
6. 扩展模块生态：AI 推理模块、RAG 模块、浏览器自动化模块、监控告警模块、SEO 模块（部分已在 MCP 中暴露，其余作为 Python 库可用）

安装配置

PyPI 安装（推荐）：

pip install webscout-mcp

Docker 部署：

docker pull wxslang/webscout-mcp
docker run -p 8000:8000 wxslang/webscout-mcp

MCP 服务器启动：

# 默认启动（HTTP 模式）
webscout-mcp

# 或使用 npx 运行（如果使用 npm 版本）
npx -y webscout-mcp

在 Claude Code / Cursor 中配置（.mcp.json）：

{
  "mcpServers": {
    "webscout": {
      "command": "webscout-mcp",
      "args": []
    }
  }
}

使用步骤

1. 安装 webscout-mcp：pip install webscout-mcp 或使用 Docker
2. 启动 MCP 服务器：运行 webscout-mcp 启动 HTTP 服务
3. 在 MCP 客户端中配置：将服务地址添加到 .mcp.json 配置
4. 使用 web_search 搜索：mcp({ tool: "web_search", args: { query: "AI最新资讯" } })
5. 使用 web_fetch 抓取页面：mcp({ tool: "web_fetch", args: { url: "https://example.com" } })
6. 使用 web_extract 精确提取：通过 CSS 选择器提取页面特定内容
7. 查看缓存状态：用 cache_stats 查看缓存命中率，cache_clear 清理过期缓存

适用场景

1. AI Agent 网络研究：让 AI Agent 自动搜索和阅读网页，构建研究知识库
2. 竞品情报监控：设置定时任务监控竞争对手动态，自动告警
3. 内容聚合与采集：从多个来源抓取结构化数据，构建垂直领域知识库
4. SEO 监控：定期抓取搜索结果页，监控关键词排名变化

适用人群

• 需要让 AI Agent 访问实时网络信息的开发者
• 构建网络爬虫和数据采集系统的工程师
• 需要 AI 驱动的网络监控和告警能力的产品团队

工作原理

webscout-mcp 基于 Model Context Protocol 运行，以标准 MCP 服务器形式暴露 6 个核心工具。HTTP 传输模式下，AI 客户端通过 RESTful 请求与服务器通信。web_search 调用多个搜索 API 并合并结果；web_fetch 使用内容提取算法解析页面正文；web_crawl 从种子 URL 开始按深度爬取；web_extract 通过 CSS 选择器精确定位内容。所有结果可选择存入本地向量数据库供 RAG 使用，缓存层避免重复请求节省资源和时间。

官方链接

• PyPI：https://pypi.org/project/webscout-mcp/
• GitHub：https://github.com/wxs-lang/webscout-mcp
• 文档：https://wxs-lang.github.io/webscout-mcp/