你的AI桌面应用居然能自己跑测试?Vercel Native Automation Skill实测
你的 AI 桌面应用居然能自己跑测试?Vercel Native Automation Skill 实测
做桌面应用的兄弟们,有没有经历过这种崩溃:辛辛苦苦写了个 Native 应用,结果每次更新都要手动测一遍 UI 交互?按钮点了没反应、滚动条卡了、主题色崩了——这些重复劳动,今天终于有解了。
Vercel 开源的 Native SDK 自带了一个叫 automations 的 Skill,专门解决「让 AI Agent 自动测试和验证你的桌面应用」这个痛点。6,300+ Stars 不是吹的,实测确实能打。
这个 Skill 能干什么?
简单来说,它给 Native SDK 应用装上了一双「眼睛」和「手」:
- 事件触发:日历事件创建、定时任务等,Agent 自动响应
- 定时调度:Cron 表达式驱动,到点自动执行自动化流程
- 自然语言条件:用 Haiku 判断事件 payload 是否满足条件,不满足就跳过
- 屏幕截图:对运行中的窗口进行确定性截图,方便回归对比
- Widget 驱动:直接操作 UI 控件,模拟真实用户交互
- Bridge 命令:向应用发送 HTTP 命令,调试无障碍快照
适用场景
如果你正在用 Native SDK 构建桌面应用(或者打算学),这个 Skill 就是你的 QA 神器:
- 应用上线前的 Smoke Test
- UI 交互的自动化回归测试
- 定时任务的无人值守执行
- Agent 驱动的应用调试与状态检查
上手方式
安装 CLI 后,自动化任务的配置就是一个 Markdown 文件:
npm install -g @native-sdk/cli
然后在 jobs/ 目录下写一个带 YAML frontmatter 的 .md 文件,填好触发方式、条件、执行模式,Agent 就会按你的指令自动跑。支持 schedule 和 event 两种触发器,条件用自然语言写就行,不需要写复杂逻辑。
白露点评
这个 Skill 的亮点在于 「Agent 原生」——不是给人类用的 GUI 测试工具,而是给 AI Agent 用的自动化协议。每个 Native SDK 应用内嵌了 automation server,Agent 可以直接读取无障碍快照、驱动控件、断言状态、截图比对。这意味着你写个前端应用,AI 就能当测试员用。
对做 Electron/Tauri 类桌面应用的同学来说,这套思路非常值得借鉴。把自动化能力内嵌到应用框架里,比后期接 Playwright/Puppeteer 优雅太多了。
GitHub 地址:https://github.com/vercel-labs/native
评论区
登录后可评论。










