让 Claude 直接操控你的 macOS 桌面！这个 Rust 工具想让 AI 真正”看得懂”界面

你有没有想过——Claude 除了写代码，还能直接帮你操控 macOS 上的任何 App？

传统方案都是截图+坐标点击：AI 看截图 → 预测像素坐标 → 点击 → 再截图 → 再点击……token 烧得快，窗口一移动整个流程就崩。这种方式对 AI 来说，又慢又蠢。

agent-desktop 换了个思路：直接读 macOS 的 Accessibility API，把整个界面的元素树结构读出来，每个可交互元素给一个稳定引用（@e1、@e2……），Claude 用这些引用操作，点哪个按钮、在哪个框输入，清清楚楚。

核心流程：snapshot → decide → act → snapshot → decide → act → ...

安装超简单：

npm install -g agent-desktop
agent-desktop permissions --request  # 授 Accessibility 权限

然后加载 Claude Skill，直接说”帮我打开 Finder 找个文件”，Claude 就能驱动你的桌面。

50+ 条命令，覆盖观察、点击、输入、键盘、剪贴板、窗口管理、截图。输出是结构化 JSON，不是截图——AI 读得懂，坐标稳定，不会因为界面动了就失效。

支持 macOS 原生 App（Finder、Safari、Xcode、Slack……），也支持 Electron 应用（VS Code、Notion、Discord 等），需要先开启 Accessibility。跨平台支持 macOS / Linux / Windows，还暴露了 libagent_desktop_ffi 的 C-ABI cdylib，方便从 Python / Swift / Go / Node 调用。

配合 Claude Code 使用：加载 agent-desktop Skill，Claude 就能操控你的桌面帮你干活——自动化 Finder 文件操作、Safari 表单填写、发邮件，甚至驱动 Xcode。真正的”AI 操控原生 App”，不用浏览器沙箱，不用模拟器。

GitHub: https://github.com/lahfir/agent-desktop

现在 872 stars，还在爬升中。这个工具解决了一个很实在的问题：让 AI 用”人看界面”的方式去操控 App，而不是用”机器看像素”的方式。如果你用 Claude Code 做桌面端自动化，这个 Skill 值得装上试试。

GitHub: https://github.com/lahfir/agent-desktop