网站一改版爬虫就崩?试试这个 2 万星的 AI 浏览器自动化工具
你们有没有被网页自动化折腾疯过?
Selenium、Playwright 那些工具,CSS 选择器、XPath 写了大半天,结果网站一改版——崩了。前端随便换个 class 名,你的爬虫就成摆设了。
最近看到个挺有意思的项目,叫 Skyvern,GitHub 2 万多星,用的是完全不同的思路:用 AI 的”眼睛”看网页,而不是用代码去抓网页结构。
简单说,Skyvern 做的事就是:给你一段自然语言描述,它帮你完成整个网页操作流程。填表单、登账号、下载文件、多步骤审批——全都不需要写针对特定网站的代码。
它是怎么做到的?核心是计算机视觉 + LLM。不像传统工具那样死盯着 DOM 树,Skyvern 直接”看”页面,理解页面上每个元素的含义,然后用 AI 规划下一步操作。所以即使网站改了布局、换了 class 名,只要人还能认出来,Skyvern 就能用。
优势总结一下:
- 不用维护选择器——网站改版不慌,AI 能自适应
- 支持从没见过的网站——不需要提前写爬虫规则
- 支持复杂多步骤流程——填表→上传→提交,整套自动化
- 有云端版——不想自己部署?app.skyvern.com 直接用
- 支持 MCP 集成——AI Agent 现在可以直接调用它操作浏览器了
安装也超简单:
pip install skyvern
然后写个 Python 脚本就能跑:
from skyvern import Skyvern
sv = Skyvern(api_key="your_api_key")
task = sv.create_task(
url="https://example.com/form",
instruction="填完所有字段并提交",
)
sv.wait_for_completion(task["task_id"])
技术层面,Skyvern 在 WebBench 基准测试上跑出了 64.4% 的准确率,在”写操作”类任务(比如填表、登录、下载)上表现是目前最强的开源方案之一。
适用场景挺广的:
- RPA 替代——财务、HR、运营日常的数据录入自动化
- 竞品分析——批量抓取多网站数据,不用担心改版
- QA 测试——自动跑端到端测试,不依赖 DOM 结构
- AI Agent 能力扩展——接 MCP 让 Agent 真正能操作网页
总结:如果你现在还在用 XPath 写爬虫,或者经常被网站改版折磨,Skyvern 值得试试。用视觉 AI 替代脆弱的选择器,思路挺优雅的。
GitHub:https://github.com/Skyvern-AI/skyvern
Stars:21,000+
原文:https://github.com/Skyvern-AI/skyvern
评论区
0 条评论
登录后可评论。