Copilot推Computer Use 代操桌面App

时间：2026年10月1日 地点：美国旧金山 人物：GitHub Copilot 团队 事件详情： GitHub 于 10月1日宣布在 Copilot CLI 与 Copilot 应用（macOS / Windows）开放 Computer Use 公开预览版。Copilot 现在可以代用户操作桌面应用，读取操作系统的可访问性树与视觉上下文，点击控件、键入文本、滚动、拖拽并跨应用传递信息。该功能专门针对没有 API、命令行或 MCP 集成的传统 GUI 软件，填补此前自动化盲区。 背景： 这是继 OpenAI 在 ChatGPT Operator 推出"电脑操控"概念之后，主流 AI 编程助手首次落地"通用桌面代理"能力。GitHub 选择从开发者工具侧切入，先打通了 1980 年代以来积累的 GUI 软件栈。Computer Use 通过双重视觉通路识别界面：通过系统可访问性树读取结构化控件信息，需要视觉上下文时则调用截图解析。 安全方面，Computer Use 默认处于关闭状态，需通过 `/computer on` 或 Copilot 应用设置页手动启用，每次操控应用前都会请求审批，并支持按应用"始终允许"。在 macOS 上 Copilot 还会引导用户授予"辅助功能"与"屏幕录制"权限；企业管理员可通过托管设置全公司禁用该功能。 影响： Computer Use 让 Copilot 从 IDE 内的代码生成器演变为跨应用的桌面代理，可处理报销流程、票据录入、报表汇总等涉及多个 GUI 软件的工作流。这同时模糊了"编程助手"的边界，使 Copilot 与 Anthropic Claude、OpenAI ChatGPT、谷歌 Gemini 等通用代理在企业市场正面竞争，也把 GitHub Copilot 的覆盖范围从开发者工位扩展到了非技术员工的日常桌面。 总结： GitHub Copilot 用 Computer Use 重新定义开发者 AI：从补全代码走向接管键盘鼠标，传统 GUI 软件栈正式被纳入 AI 代理版图。 参考来源： 1. https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps 2. https://docs.github.com/en/copilot/how-tos/copilot-cli/use-copilot-cli/computer-use 3. https://docs.github.com/en/copilot/how-tos/github-copilot-app/computer-use 4. https://www.thenextgentechinsider.com/pulse/github-copilot-introduces-autonomous-desktop-application-interaction 5. https://vibehacker.com/news/github-copilot-adds-desktop-computer-use-in-public-preview