Agent评测这件事，终于有人把全链路打通了——Harbor把Terminal-Bench的经验变成通用框架

我以前测一个 AI 编程工具靠不靠谱，流程是这样的：找几个开源 benchmark，跑一遍，看分数，然后凭感觉判断——这和真实场景差得十万八千里。Harbor 这个框架把 AI Agent 的评测从「跑个分」变成了「在真实环境里跑任务」，而且支持并行、支持自定义 benchmark、支持 RL 优化数据生成。

这个框架来自 Terminal-Bench 的团队。Terminal-Bench 2.0 是专门测 AI Agent 在终端场景里能力的 benchmark，现在他们把这套评测能力抽出来做成了通用框架——不只能跑 Terminal-Bench，能跑 SWE-bench、Aider Polyglot，以及你自己定义的任何数据集。

安装一条命令：uv tool install harbor 或者 pip install harbor，装完就能用。

用法也不复杂，最基础的使用是这样的：

harbor run –dataset terminal-bench@2.0
–agent claude-code
–model anthropic/claude-opus-4-1
–n-concurrent 4

这条命令会在本地 Docker 环境里起 Terminal-Bench 2.0 评测，支持 Claude Code、OpenHands、Codex CLI 等主流 Agent，想看支持哪些 agent 就 harbor run --help。

如果你想跑大规模并发，比如同时跑 100 个 case，加上 --env daytona 就能把任务分发到 Daytona 的云环境里跑——不占用本地资源。除了 Daytona，还支持 Modal、LangSmith、Blaxel、Novita Sandbox 这些云端执行环境。

我觉得最值钱的功能是「构建和分享自己的 benchmark」。很多团队内部有自己的评测场景，通用 benchmark 覆盖不到——现在你可以用 Harbor 的框架把内部场景打包成数据集，分享给团队或者开源出去。

另外它还能生成 RL 优化的 rollout 数据。如果你在做 Agent 的强化学习训练，需要大量「Agent 在真实任务中的轨迹」做训练集，Harbor 帮你批量生成，输出格式可以直接喂进 RL pipeline。

总结一下：如果你在自建 AI Agent、需要系统性评测它的能力边界、或者想用真实任务数据做 RL 训练，Harbor 值得研究一下。它把「测 Agent 能力」从玄学变成了工程。