SimMirror

SimMirror 是一款让 AI 编程智能体实时操控并观察 iOS 模拟器的 MCP 服务器与浏览器查看器。它把 iOS 模拟器画面镜像到任意浏览器标签页，用一个可视化光标提前显示智能体将要点击的位置，并以紧凑文本快照取代截图，大幅降低 token 消耗。它兼容 Claude Code、Codex、Cursor 等任意 MCP 客户端，核心目标是让「AI 自动操作 App」这件事变得可见、可控、低成本。

核心能力

• 任意位置实时查看模拟器：通过 H.264 或 JPEG 流在 Chrome 标签页、iframe 或 `` Web 组件中实时展示模拟器，支持触摸、滚动、输入、硬件按键与深浅色模式。
• 智能体光标跟随：每一次智能体手势（点击、长按、滑动、拖拽、输入）都会在落点前先广播到查看器，光标先行滑动到目标位置，便于人工跟随与随时介入。
• 低 token 屏幕理解：智能体读取带稳定元素引用的无障碍快照与屏幕差异，批量执行带等待的动作，仅当问题属于视觉类时才回退到截图。
• 从像素读取屏幕：当无障碍信息为空时（游戏、Canvas、加载中界面），用 macOS Vision 从画面中识别文字，提供可点击引用与等待文本。
• App SDK 深度集成：开发中的 App 可链接 SimMirrorKit 轻量 Swift 包，调用 SimMirror.start() 共享自身 UIKit/SwiftUI 视图，让纯图标按钮与手绘控件也能按名称被识别。
• 多连接器支持：内置原生助手提供完整控制，兼容 idb_companion，并在两者都不可用时用 simctl 以只读方式镜像屏幕。
• 嵌入与集成：支持一次性票据的 iframe、可用 CSS 变量主题化的 Web 组件，以及嵌入 Python 应用并带独立登录。
• 安全设计：仅监听回环地址、Host 白名单、精确 Origin 校验、受控 CORS 与 framing，并对敏感设置引入确认码。
• 医生诊断：sim-mirror doctor 全面检查 Xcode、运行时、原生助手与文本读取能力，并以真实点击验证模拟器可达。

安装配置

1. 准备一台 Apple Silicon Mac、Xcode 26 或更高版本，以及 uv 或 Homebrew。
2. Claude Code 用户可通过插件安装：先 /plugin marketplace add AndrewKochulab/sim-mirror，再 /plugin install sim-mirror@sim-mirror。
3. 任意 MCP 客户端可将其作为 stdio 服务器添加：claude mcp add sim-mirror -- uvx --from sim-mirror==1.2.0 sim-mirror mcp。
4. 安装命令行工具以使用 sim-mirror open、doctor 等命令：uv tool install sim-mirror==1.2.0 或 brew install andrewkochulab/tap/sim-mirror。
5. 在自有页面中嵌入查看器时，先执行 npm install @andrewkochulab/sim-mirror 安装查看器库。

使用步骤

1. 环境自检：运行 sim-mirror doctor，确认本机环境无误并以一次真实点击验证模拟器可达。
2. 打开查看器：运行 sim-mirror open，在浏览器标签页中打开当前工程的模拟器画面。
3. 向智能体下达指令：例如“打开设置 → 通用 → 关于，告诉我这台模拟器运行的是哪个 iOS 版本，请使用 sim_snapshot 而不是截图”。
4. 跟随智能体操作：在查看器中观察光标提前滑向目标并执行点击，必要时人工介入暂停。
5. 批量执行动作：通过 sim_act 一次执行最多 20 步操作，并等待文本出现、消失或界面稳定。
6. 深度集成：让开发中的 App 链接 SimMirrorKit 共享自身视图，提升图标按钮与手绘控件的识别准确率。

适用场景

• iOS 开发者让 AI 智能体自动完成模拟器内的 UI 冒烟测试与回归验证。
• 产品与设计人员实时旁观 AI 操作 App，直观确认交互流程是否正确。
• 移动端 QA 借助文本快照与差异对比快速定位界面变化。
• 游戏或 Canvas 类 App 在无障碍信息缺失时仍能用像素识别完成自动化。
• 将模拟器画面嵌入自家 Web 页面或 Python 应用，构建可视化演示与远程操控面板。
• 教学演示中展示 AI 智能体如何一步步操作移动应用。

适用人群

• iOS 与移动端应用开发者。
• 移动端测试与质量保障工程师。
• 使用 Claude Code、Codex、Cursor 等 MCP 客户端的 AI 编程用户。
• 需要把模拟器能力嵌入自有产品的开发者。
• 移动应用教学与演示人员。

工作原理

SimMirror 通过原生助手、idb_companion 或 simctl 连接器驱动 iOS 模拟器，并把画面编码为 H.264 或 JPEG 流推送至浏览器查看器。智能体侧的每一次手势都会先经协议广播到查看器，使可视化光标先于操作到达目标位置。屏幕理解方面，SimMirror 优先读取带稳定引用的无障碍快照并计算屏幕差异，无障碍信息为空时则调用 macOS Vision 从像素中识别文字。开发中的 App 可通过 SimMirrorKit 主动共享视图层级，从而让更多控件获得可读名称。所有通信仅限回环地址，并通过多种校验保障安全。

官方链接

• PyPI：https://pypi.org/project/sim-mirror/
• GitHub：https://github.com/AndrewKochulab/sim-mirror
• 查看器库（npm）：https://www.npmjs.com/package/@andrewkochulab/sim-mirror