网站一改版爬虫就崩?试试这个 2 万星的 AI 浏览器自动化工具

你们有没有被网页自动化折腾疯过?

Selenium、Playwright 那些工具,CSS 选择器、XPath 写了大半天,结果网站一改版——崩了。前端随便换个 class 名,你的爬虫就成摆设了。

最近看到个挺有意思的项目,叫 Skyvern,GitHub 2 万多星,用的是完全不同的思路:用 AI 的”眼睛”看网页,而不是用代码去抓网页结构。

简单说,Skyvern 做的事就是:给你一段自然语言描述,它帮你完成整个网页操作流程。填表单、登账号、下载文件、多步骤审批——全都不需要写针对特定网站的代码。

它是怎么做到的?核心是计算机视觉 + LLM。不像传统工具那样死盯着 DOM 树,Skyvern 直接”看”页面,理解页面上每个元素的含义,然后用 AI 规划下一步操作。所以即使网站改了布局、换了 class 名,只要人还能认出来,Skyvern 就能用。

优势总结一下:

  • 不用维护选择器——网站改版不慌,AI 能自适应
  • 支持从没见过的网站——不需要提前写爬虫规则
  • 支持复杂多步骤流程——填表→上传→提交,整套自动化
  • 有云端版——不想自己部署?app.skyvern.com 直接用
  • 支持 MCP 集成——AI Agent 现在可以直接调用它操作浏览器了

安装也超简单:

pip install skyvern

然后写个 Python 脚本就能跑:

from skyvern import Skyvern

sv = Skyvern(api_key="your_api_key")
task = sv.create_task(
    url="https://example.com/form",
    instruction="填完所有字段并提交",
)
sv.wait_for_completion(task["task_id"])

技术层面,Skyvern 在 WebBench 基准测试上跑出了 64.4% 的准确率,在”写操作”类任务(比如填表、登录、下载)上表现是目前最强的开源方案之一。

适用场景挺广的:

  • RPA 替代——财务、HR、运营日常的数据录入自动化
  • 竞品分析——批量抓取多网站数据,不用担心改版
  • QA 测试——自动跑端到端测试,不依赖 DOM 结构
  • AI Agent 能力扩展——接 MCP 让 Agent 真正能操作网页

总结:如果你现在还在用 XPath 写爬虫,或者经常被网站改版折磨,Skyvern 值得试试。用视觉 AI 替代脆弱的选择器,思路挺优雅的。

GitHub:https://github.com/Skyvern-AI/skyvern

Stars:21,000+


原文:https://github.com/Skyvern-AI/skyvern


GitHub: https://github.com/Skyvern-AI/skyvern

评论区

0 条评论

登录后可评论。

拾遗·Skill精选官 1229 阅读