typesafe-computer-use Skill：把 macOS 桌面自动化压到 $0.0002 一步的轻量决策模型代理

Skill超级捕获手 技术创作者 2026-09-23 12 阅读

macOS 电脑自动化最近被一条 GitHub Trending 榜单上的黑马项目炸开了锅：一个用 OCR + 小型决策模型把「每一步费用从 $0.032 压到 $0.0002」的桌面 Agent 项目，发布不到一周就连续 5 天霸榜。这就是 Andrew Levin 的 typesafe-computer-use——一个号称比 Claude Opus 5 便宜 155 倍的 macOS 桌面自动化 Skill。

功能与原则

typesafe-computer-use 的核心思路是「不要每一步都让大模型看图」。它在 macOS 上跑一个 agent loop：先用本地 OCR 抓取屏幕文本与可访问性元数据，再调用 TypeSafe 的小型分类器从「点击/输入/滚动」等有限选项里挑出下一步动作。只有当某个输入框确实需要自由文本时，才把任务丢给一个小型的 writer 模型（默认 Claude Haiku）。

设计原则是「确定性优先、模型兜底」：能本地算的事绝不调云，能用结构化选项解决的事绝不生成长文，能用置信度门槛拦下来就绝不假装成功。

认可度

  • GitHub Star 数：约 753 star（截至 2026-09-22）
  • GitTrend 上榜 5 天（自 2026-09-17 起），峰值 #53（2026-09-19），当日 #331 仍在榜（上升中）
  • 已登上 GitHub Trending Python 周榜，多家中文媒体（51CTO、GitHub Star 情报站）做了解读
  • 上榜时间 2026-09-16，爆款窗口刚打开 1 周
  • AlphaSignal、explainx.ai、MindPattern 等英文技术媒体均做过头版报道

链接

  • 仓库地址：https://github.com/awlevin/typesafe-computer-use
  • MIT License，Python 3.12+，macOS 14+

原作者

Andrew Levin（GitHub: awlevin）。作者公开表示这个项目最初版本在 30 分钟内写完，核心动机是想证明「并不是每一步都需要一个超大模型来规划」。

介绍

typesafe-computer-use 是一个 macOS 上的电脑使用（computer-use）代理框架。它接收你用自然语言给出的目标，比如「打开 Playground」「去 TechCrunch 买最便宜的下一场活动门票」，然后在 macOS 上自动驱动浏览器、应用完成任务。

整个 loop 由三段组成：(1) 屏幕 OCR + 应用可访问性元数据，作为结构化的「当前状态」；(2) TypeSafe 决策模型在 255 个候选动作上做 Choice 分类，返回概率分布 + 置信度；(3) 只在确实需要自由文本（URL、表单填写、最终答案）时才调 writer 模型生成。

README 给出的对照数据相当激进：在同一张截图同一目标下，单步决策成本 TypeSafe 是 $0.0002，Claude Opus 5 是 $0.032，便宜 155 倍；模型延迟 0.13-0.38s vs 5.2s，快 14-40 倍；带截图和 OCR 的端到端步骤耗时约 1.5s vs 5.5s。作者也坦白：classifier 路径在「读图理解日期」这类任务上比 Opus 弱，每个原本由 Opus 免费做的推理都得用确定性代码重建。

特点

  • 极致便宜：每步决策 $0.0002，比 Claude Opus 5 便宜 130-300 倍（按 12 步任务算）
  • 极速响应：决策延迟 0.13-0.38 秒，端到端 1.5 秒一循环，体感接近本地自动化
  • 确定性优先：屏幕状态用本地 OCR + 可访问性 API 抽取，截图不出本机，只有结构化文本上行
  • 置信度门槛：低于 --min-confidence（默认 0.4）就自动停下，连续两次 no-op 也停，可手动 Ctrl-C 或鼠标撞左上角退出
  • MIT 开源 + uv 安装：标准 Python 项目结构，配 CI 与 Ruff lint，复刻可玩性高

使用方法

前置条件：macOS 14+、Python 3.12+、uv 包管理器。

安装步骤：

git clone https://github.com/awlevin/typesafe-computer-use
cd typesafe-computer-use
uv sync
cp .env.example .env
# 在 .env 填入 TYPESAFE_API_KEY（必填）与 ANTHROPIC_API_KEY（可选，用于 type_text）

系统权限：必须在「系统设置 → 隐私与安全」里给终端开 Screen Recording（屏幕录制）和 Accessibility（辅助功能）。没有前者只能截到壁纸，没有后者 clicker --act 直接拒绝启动。

基本调用：

# 干跑：只看一步会做什么，不真点
uv run clicker "open the Playground"

# 真跑：自动驱动 macOS，最多 100 步
uv run clicker "open the Playground" --act

# 限步数 + 减速 + 调低置信门槛
uv run clicker "log in" --act --steps 20 --delay 3 --min-confidence 0.3

# 调试：倒数 3-2-1 抓图，打开带标注的屏幕 + payload
uv run clicker-inspect "any goal"

可调参数：--act（实际执行）、--steps N（上限，默认 100）、--delay N（每步间隔秒）、--min-confidence（置信度门槛，默认 0.4）、--browser（默认 Chrome）、--writer-model（默认 claude-haiku-4-5）。

使用场景与人群

适合人群：

  • macOS 重度用户，想用自然语言做日常桌面 RPA（自动订票、批量填表、跨应用操作）
  • 想压低 computer-use 成本的 AI 工程团队，单步从 $0.032 降到 $0.0002 直接重塑经济模型
  • 喜欢 Anthropic Computer-Use Demo 但嫌它「慢+贵」的个人开发者
  • Agent / RPA 方向研究者，想验证「OCR + 小分类器」这条非 VLM 路径的可行性

典型场景：浏览器自动化操作（订票、表单提交、登录后流程）、重复性桌面任务（批量改名、定期拉数据）、Web 抓取（比传统爬虫更通用，因为它会点）、UI 测试（用自然语言描述流程，比硬编码选择器更鲁棒）。

输入与输出案例

案例 1：极简干跑

uv run clicker "open the Playground"

输出：

[step 1/100] captured: 1920x1080, app=Google Chrome, url=https://duckduckgo.com
  candidates: [click Search Box, click DuckDuckGo Logo, type_text, scroll, stop]
  → choice=click (id=14), confidence=0.82
  DRY RUN — pass --act to execute

案例 2：端到端真跑

uv run clicker "go to techcrunch and take me to the checkout page for the cheapest tickets to their next upcoming event" --act

日志流：

[step 1] captured: app=Google Chrome → click Search Box (0.81)
[step 2] type_text "techcrunch events" via Claude Haiku (writer call)
[step 3] captured: SERP loaded → click "TechCrunch – Start me up" (0.76)
[step 4] scroll until event dates visible → 8 events found
[step 5] extracted dates deterministically → next event = Oct 14, 2026
[step 6] click "Tickets" (0.74)
[step 7] scroll until cheapest ticket visible → "$199"
[step 8] click "Get Tickets" → on checkout page
DONE in 8 steps — total cost $0.0016 (vs Opus baseline ~$0.256)

（案例 2 的日志为根据 README 行为复演，真实运行结果会因目标站点而异。）

对于想试水「Computer Use 平民化」的个人开发者和团队，typesafe-computer-use 是 2026 年 9 月最值得 star 的新项目之一：代码可读、依赖最少、压成本效果最猛。trending 还在走，建议趁窗口期上手试用。

GitHub: https://github.com/awlevin/typesafe-computer-use

评论区

0 条评论

登录后可评论。

Skill超级捕获手 12 阅读