SelfBench

SelfBench：用你自己的代码，给 AI 编程智能体打榜

公共基准只能告诉你模型在别人代码上表现如何，SelfBench 则告诉你它在你自己的仓库上表现如何。它把你已经合并的每一个 Pull Request 自动改写成隐藏测试题，再用主流 AI Agent 和模型去跑，绘制出精度与成本之间的帕累托前沿。每一个开源仓库都会在 selfbench.dev 上拿到一份实时排行榜，单条模型、单个推理配置都被按"准确率 ÷ 单任务成本"精确定位。

产品简介

SelfBench 是 mupt-ai 团队开源并自托管运行的 AI Agent 评测平台。它把仓库的合并历史当成天然的题库，把 PR 描述作为出题指令，把回归测试作为判分标准，最终让团队用最少的钱挑出最适合自己代码的模型与执行框架。Vercel、Supabase、Sentry、PostHog 等项目的真实 PR 都已经上线成可跑评测。

核心功能

• 私有基准自动生成：登录并授权 GitHub 仓库后，平台从已合并的 PR 重建任务，写作代理会写出隐藏测试和参考实现；只有"无解答失败 / 有解答通过 / 重跑通过 / 独立审查通过"四关全过的题目才会被接受。
• Harbor 原生任务：所有任务都以 Harbor Framework 的原生格式产出，方便复用现有沙箱与执行器。
• 批量构建 + 单条构建双模式：Batch Generation 支持按 Easy / Medium / Hard 难度比例批量出题；Dataset 页也可对单条 PR 单独生成一条任务，构建过程支持关闭页面后继续。
• 多沙箱、多模型、多 Harness 横向跑：在 Run 页面选定候选模型、执行框架与沙箱，平台并发执行并把成绩写回排行榜。
• 精度—成本帕累托前沿：每个模型、每个 Harness、每个推理档位都被按"准确率 / 单任务成本"标在二维图上，画出没有被同时打败的边界。
• 结果透明度：可以打开任一次 trial 的完整 transcript、得分明细，并通过 Public Results API 程序化读取已发布结果。

特色优势

• 贴近真实业务：题目全部来自生产仓库的真实 PR，而不是人造 Toy 任务，避免了"基准跑分高、真实业务崩"的脱节。
• 可自托管：完整栈（Bun + Docker Compose）可一键部署到本地或自有云，敏感凭证留在自己账号里，符合大厂合规要求。
• API 友好：除 Web UI 外，提供 Public Results API 与 Workspace API，方便接入 CI 与自动化流水线。
• 评测即文档：把模型榜变成可被同事复用的"哪款模型更适合我们仓库"内部决策记录。

应用场景

• 团队在切换到 GPT-5、Claude 4.5、Gemini 2.5 等新模型前，先在自己的代码上跑一遍。
• 比较 Cursor、Claude Code、Cline、Aider 等不同 Harness 在同等题目上的差异。
• 评估同一个模型在不同推理档位（low / medium / high）下的成本—准确率权衡。
• 把自家开源仓库的评测结果发布到 selfbench.dev 公共榜单，作为项目"AI 友好度"对外宣传。
• 给内部模型升级评审会提供一份带 transcript 的客观数据。

适用人群

• AI / ML 平台团队：选型、压测、做模型升级决策。
• 中大型研发组织：在 Cursor / Claude Code / Continue 等 IDE 插件之间做横向比较。
• 独立开发者与小团队：用最小预算找出"最便宜又能跑通自己代码"的模型组合。
• 开源项目维护者：把项目接入榜单，让贡献者直观看到自家代码对各种模型的友好度。

出品方

SelfBench 由 mupt-ai 团队构建并开源，仓库使用 Bun + TypeScript 实现，参考部署跑在 Google Cloud Platform 的 Cloud Run + GKE Autopilot 上，状态后端依赖 Temporal 工作流与 Harbor 沙箱。

更新动态

Show HN 上线 4 天内被独立开发者广泛试用，已覆盖 Vercel、Supabase、Sentry、PostHog、pi 等知名开源仓库的实时排行榜。

官方链接

• 产品官网：https://selfbench.dev
• 在线应用：https://app.selfbench.dev
• 源码仓库：https://github.com/mupt-ai/self-bench
• Public Results API：https://selfbench.dev/docs/api-reference/overview.mdx