Phone Harness Skill 技能

让你在 GitHub 上发现它的时候以为看错了——这确实是一个能控制真实 iPhone 的 AI 工具。

核心原理很巧妙：不需要越狱、不需要 Xcode、不需要 WebDriverAgent，只要你的 Mac 升级到了 macOS Sequoia+，iPhone Mirroring 功能会把手机画面投射到一个 Mac 窗口里。Phone Harness 就用这个窗口作为「眼睛」和「手」：用 screencapture 截图，再用 Apple Vision 框架做 OCR 识别屏幕上所有文字和坐标，然后用 HID 级别的 CGEvents 模拟点击、滑动、输入。

整个链路大概是这样：

agent 想打开天气 App → ocr() 找到「天气」文字在屏幕坐标(400, 468) → tap(400, 468) 点击 → wait_stable() 等待界面稳定 → ocr() 确认天气预报已经出现 → 完成。整个确认流程写死在 SKILL.md 里，agent 会自动完成。

安装过程也是全自动的——你把 Setup Prompt 粘贴给 Claude Code 或 Codex，agent 会自己引导你完成两个需要物理操作的事情：手机配对 iPhone Mirroring（只需做一次），以及在系统设置里给终端开启辅助功能和屏幕录制权限。之后 ./phone-harness --doctor 验证全链路。

它的架构很干净：

SKILL.md 是 agent 的操作手册，src/phone_harness/ 是 ~500 行的核心库（mirror.py 窗口管理、ocr.py 文字识别、helpers.py 预加载的原子操作），agent-workspace/agent_helpers.py 是 agent 在运行时会自动编辑的辅助代码。状态全无，进程退出不留痕迹，每次调用自包含。

局限：单手机单会话、不能解锁手机（解锁会中断镜像）、不支持多指手势、不支持摄像头/Face ID、DRM 视频黑屏。OCR 只能看到文字，看不懂语义——没有标签的图标需要调用视觉模型来识别。

一句话总结：一个不需要任何特殊权限就能让 AI 操控你手机屏幕的工具，原理简单、实现干净，适合需要手机端操作自动化的场景。