agent-desktop开源 作者Lahfir个人开发

时间：2026 年 10 月 30 日（UTC）。项目维护者 Lahfir 当天 23:48 UTC 在 X 上发布「Computer use for your agents」，npm 上 agent-desktop 1.0.2 版本的时间戳为 2026-10-30 21:18:45 UTC；换成北京时间已是 10 月 31 日凌晨。 地点：线上开源项目，代码托管在 GitHub 的 vercel-labs 组织下，npm 包名为 agent-desktop，首次发布与扩散都发生在 X 平台，官方文档另挂在 agent-browser.dev 站点。 人物：agent-desktop 的作者与维护者 Lahfir（npm 与 GitHub 上的发布者）；Vercel Labs 成员 Chris Tate 在 X 上把它介绍为「agent-browser, for your whole computer」，该帖浏览量超过 20 万，Malte Ubl 称它是整个桌面操作系统版的 agent-browser，Vercel CEO Guillermo Rauch 转发并写道每个桌面都该有一个 Agent。 事件详情：Vercel Labs 开源了 agent-desktop，一个用 Rust 编写、同时提供命令行工具与 C 库的桌面操作组件，作用是让 AI Agent 读取并操作 macOS、Windows、Linux 上的桌面应用。它不走截图加视觉模型的老路，而是直接读操作系统的无障碍树：macOS 走 AX API，Windows 走 UI Automation，Linux 走 AT-SPI。每次调用返回一份 JSON 快照，其中每个可操作元素都带一个含快照 ID 的引用，形如 @s8f3k2p9:e8；Agent 对引用执行动作后再读一次界面确认结果。裸引用会被 INVALID_ARGS 拒绝，界面在快照之后发生变化时动作会返回 STALE_REF 或 AMBIGUOUS_TARGET，而不是猜。工具默认无头运行，引用动作不移动鼠标、不抢焦点，需要真实物理输入时显式加上 --headed；每次引用动作最多自动等待 5000 毫秒，等目标可见、可用且稳定。它一共提供 60 个命令名，其中 56 个可用，key-down、key-up、mouse-down、mouse-up 这四个在有守护进程能释放按键或鼠标之前会拒绝执行。安装只需一条 npm install -g agent-desktop，包内自带 x64 与 ARM64 的原生二进制，许可证为 Apache-2.0；每个版本还附带 libagent_desktop_ffi，让 Python、Swift、Go、Ruby、Node 可以在自己的进程里直接调用。运行环境要求分别是 macOS 13 以上（需给运行它的应用授予辅助功能权限）、Windows 10 1809 或 Windows Server 2019 以上（终端同权限级别的应用无需额外授权）、Ubuntu 24.04 以上（需要图形会话与 at-spi2-core）。工具本身不内置任何模型，Agent 调用前可以先让它输出配套说明文档。 背景：此前让模型操作电脑的主流做法是截图加视觉模型。Anthropic 的文档提到每张截图大约消耗 1000 到 1800 个输入 token，此外每次请求还要带上工具定义本身的开销，而且窗口一移动或重绘，坐标就失效。agent-desktop 换了一条路：像读屏软件那样读应用自己暴露的逻辑结构，把找按钮变成按名字点击。这条思路本身不新，屏幕阅读器用了几十年，Vercel Labs 做的是把它打包成给 Agent 用的工具，并配上一套会明确失败的引用机制。项目本身也不是刚出现：npm 记录显示该包 2026 年 2 月 23 日就已创建，1.0.0 在 10 月 28 日发布，10 月 30 日的 1.0.2 是注册信息里仓库地址与主页首次指向 vercel-labs/agent-desktop 的版本。Vercel 此前已有面向网页的同类工具 agent-browser，agent-desktop 相当于把同一套思路扩展到整个桌面：网页仍交给 agent-browser，Electron 或 Chromium 应用里的网页内容则由 agent-desktop 打开 DevTools 端口再交给 agent-browser。 影响：需要说明的是，agent-desktop 的作者与维护者是 npm 注册表上登记的个人开发者 Lahfir，Vercel Labs 是仓库托管方而非作者。对开发者来说，这是把 Agent 能操作网页补到能操作原生应用的一个现成零件。Slack、VS Code、Notion 这类没有 API 的桌面软件，第一次有了结构化、可校验的入口，而不是靠截图猜按钮。作者给出的数字是：在这些密集应用上，先用 skeleton 模式只看骨架再钻进一个区域，token 消耗可降 78% 到 96%；在 Apple Maps 里，一次查看从 3811 个 token 降到 273 个；一个模拟的 52 步任务从 19.8 万降到 3.1 万 token。这些都是作者自报、来自单一模拟任务的数据，目前还没有第三方基准，落地前要靠自己常用应用实测。另外两件事同样要注意：隐私方面，官方 README 明确写了快照、剪贴板读取、截图、命令输出和调试产物都可能包含私人桌面内容，不应放进公开日志；边界方面，没有暴露无障碍树的应用这个工具完全够不着，自动化质量也取决于各家应用暴露界面的程度。 总结：Vercel Labs 把 agent-desktop 以 Apache-2.0 开源，用系统无障碍树替代表格截图，给 AI Agent 装上了操作桌面应用的能力，60 个命令覆盖观察、点击、输入、窗口、剪贴板与通知等场景。它的价值不在于又多了个 Agent 框架，而在于把 Agent 接入真实桌面软件这件事的成本，压到了装一个 npm 包的量级。对多数团队来说，真正该做的判断不是官方给的 token 降幅，而是自家那些没有 API、又愿意开放无障碍接口的老软件，暴露出来的结构到底够不够干净。 常见问题： 问：AI 真的能直接操作电脑吗？ 答：能，但要看应用是否暴露无障碍树。Agent 按元素引用点击和输入，不靠像素坐标猜；完全不暴露无障碍树的应用仍然操作不了。 问：agent-desktop 免费吗，需要显卡吗？ 答：免费，Apache-2.0 开源，npm 一条命令安装。它不内置模型，只读系统无障碍树，普通 CPU 就能跑，不需要 GPU。 参考来源： Vercel Labs 官方仓库 agent-desktop 的 README，含命令列表、平台支持表、许可与隐私提示 https://github.com/vercel-labs/agent-desktop agent-desktop 官方文档站，含工作原理、引用机制与各平台要求 https://agent-browser.dev/desktop npm 官方包注册表记录，含各版本发布时间戳、许可证与仓库地址变更 https://registry.npmjs.org/agent-desktop GitHub Releases 页，含各版本发布说明与时间戳 https://github.com/vercel-labs/agent-desktop/releases GitHub 仓库 README 原文，含命令列表、平台支持表与许可条款 https://github.com/vercel-labs/agent-desktop/blob/main/README.md