Gauge CLI Vibe 项目
给智能体体验做爬山优化的开源命令行工具
项目简介
Gauge CLI 是 Gauge 团队开源的命令行工具,仓库地址 github.com/gauge-sh/gauge-cli,MIT 协议,2026 年 10 月 20 日建仓,当天便在 Hacker News 的 Show HN 栏目公开。它要解决的问题很具体:当你的产品是一份 Skill、一个 CLI、一个 SDK、一套 MCP 或一篇文档时,编码智能体往往「找不到、不会用、用错版本」——而这些摩擦点通常只有在真实会话里才会暴露。Gauge 的做法是跑真实的编码智能体去操作你的产品,把智能体卡住的地方录下来,再让你自己的编码智能体在发布之前先把修复方案验证一遍。这个循环被称为「爬山优化」:改一点、量一次、重复迭代。整个闭环完全在本地运行,依赖 Docker 与你已有的智能体订阅或 API key,不需要注册 Gauge 账号。
核心功能
一、摩擦点自动发现。Gauge 运行并分析真实的编码会话,常见发现包括:某个交互式命令把智能体卡死;智能体仍在调用已废弃的命令或过时的 API 调用模式;本该用上的 Skill 一次都没被触发;智能体煞有介事地声称某个并不存在的限制;智能体在跨多个命令时理不清预期的使用流程。
二、修复方向指引。发现之后,真正该改的可能是错误提示文案、Skill 正文内容、help 文本、代码实现或文档表述——Gauge 会把证据整理成结构化的问题清单交给你判断。
三、多智能体统一观测。支持 Claude Code、Codex、Pi、OpenCode 四种智能体框架,Gauge 把它们的运行事件归一化成格式一致的 transcript,让不同框架的会话可以横向比较。
四、本地与托管双模式。本地模式支持 Skills、SDK、CLI、文件四类输入;托管模式在此之上额外支持文档、需要认证的 MCP 以及需要认证的 API。两种模式共用同一套输入配置与评测定义,可以互相迁移。
五、评测用例可共享。单次评测保存在本地 SQLite 数据库中,需要与同事共享或接入 CI 时,可写成 gauge-cases/ 目录下的 Markdown 用例文件,任务描述、评分标准与所选智能体框架都写在 front matter 里。
技术实现
Gauge CLI 以 npm 包 @withgauge/cli 分发,同时提供网页版文档站、托管服务与独立的技能仓库。运行时依赖 Node.js 22.13 以上、npm 以及能运行 Linux 容器模式的 Docker;智能体凭据既可用原生登录态,也可用 API key,产生的智能体用量由对应供应商或订阅计费。执行环节,gauge local runtime pull 会拉取与当前 CLI 版本锁定的 Docker 镜像,镜像内含各智能体 harness 与常用开发工具。gauge init --local 会在项目里生成共享的 gauge.json 清单与私有的 .gauge/ 工作区,.gauge/ 内含 SQLite 数据库、本地后端偏好与持续积累的测量数据,同时往 AGENTS.md 追加指引;--cases 参数可额外创建共享的 Markdown 用例目录,.gauge/ 则必须保持私有。sandbox 每次测试都以全新容器会话启动,并把工作区当前版本的输入注入进去,npm 形式的 CLI 或 SDK 需先打包新 tarball,Gauge 会把这个预发布产物安装进测试会话,从而在正式发布前完成验证。本地模式由你自己的编码智能体读取证据、核对结果并通过 gauge run analysis save 发布结构化结论,托管模式则在每场会话结束后自动分析,gauge run insight 可查看证据。基线与候选批次通过 gauge run compare 对比,任务、评分标准与模型固定不动,仅替换被测产物。
快速上手
第一步,安装 CLI 与运行时:npm install -g @withgauge/cli,然后执行 gauge local runtime pull 拉取锁定版本的 Docker 镜像。
第二步,初始化项目:进入项目目录(Git 可选)执行 gauge init --local,生成 gauge.json 清单、私有 .gauge/ 目录与 AGENTS.md 指引;需要共享用例时追加 --cases。
第三步,安装技能:执行 gauge install-skill,把 Gauge skill 装进你的编码智能体,让它知道去哪里找 CLI 的使用说明。
第四步,定义评测:gauge eval create --local --name "Release notes" --agent codex --samples 1 --text "写 1.2.0 版本的发布说明" --criterion "版本号做标题、新功能进 Added、修复进 Fixed",创建后拿到评测 ID。
第五步,预览并实跑:gauge run --eval --local --input release-notes --dry-run 先做就绪性检查,再去掉 --dry-run 正式启动。
第六步,读证据并改:执行 gauge instructions session-analysis --local,让智能体按指引分析会话,改完 Skill 后用同一个评测 ID 重跑。
第七步,量化对比:gauge run compare --local --baseline batch= --candidate batch=,直接看出问题是否消失、有没有引入新的摩擦。
适用人群
适合正在为编码智能体打磨 Skill、CLI、SDK 或 MCP 接入体验的开发者与工具作者;适合希望把「智能体用不好我的产品」这件事从主观感受变成可量化指标的技术团队;也适合需要在 CI 里持续回归智能体体验、防止版本迭代把可用性改坏的使用者。
官方链接
仓库:https://github.com/gauge-sh/gauge-cli 技能仓库:https://github.com/gauge-sh/gauge-skills 官网:https://www.withgauge.com 文档:https://docs.withgauge.com/agents npm 包:https://www.npmjs.com/package/@withgauge/cli
评论与建议
登录 后参与评论或提建议