AI Deploy Bench - 让 AI 编程 agent 真实构建并部署 Web 应用的端到端基准

项目简介

AI Deploy Bench 是由 Javier Luraschi 等团队维护的开源基准（MIT / Apache），测试 AI 编程 agent（默认 Claude Code 2.1.296 + Opus 5.5）从零构建 5 类 Web 应用并部署到 4 家主流云（Cloudish / DigitalOcean / Render / Vercel）的端到端能力。每次 cell 由独立 verifier 对公开 URL 做黑盒校验（HTTPS / WebSocket / 无头浏览器），同时由一个独立的 Claude Code session 做 0-100 分的安全合规审计（涵盖密钥、来源、合规、最小权限、传输、攻击面、应用安全）。结果自动 commit 到 results/，并在 https://aideploybench.com 实时展示。

核心功能

• 5 类应用模板：静态网站 / 数据库 CRUD / API 服务 / 数据可视化 / 实时协作（WebSocket 或 SSE）；每个 TASK.md 是一份契约，verifier 可针对 agent 自选栈进行黑盒测试
• 4 家云平台覆盖：Cloudish（零人工 step 即可跑通）/ DigitalOcean / Render / Vercel
• 多维指标：成功部署率、人工介入 step 数与时间、安全合规评分（0-100）、构建 / 部署耗时、token 消耗、agent 调用成本、月度预期费用（轻 / 忙两种用量）
• 全自动流水线：GitHub Actions 矩阵跑每个 cell：独立部署 → 立即验证 → 独立 session 安全审计 → 自动清理
• 结果可视化站：https://aideploybench.com ，每次 run 后自动重新生成
• 高度可扩展：在 benchmark.yaml 添加模型 / 云 / 应用即可加入新矩阵

技术实现

每个 cell 跑在干净的 runner 上：build 阶段在空工作区让 Claude Code 写代码并本地跑测试（只拿模型 API key，无法部署）；deploy 阶段拿到云凭据后用唯一前缀部署；紧接着做 inventory（列出所有创建的资源与价格）、verify（HTTP / WebSocket / headless browser 三重检验）、security review（另一个 Claude Code session 跑 7 项指标）、teardown（删除全部）。所有步骤在 GitHub Actions 内执行，每一次 run 的 per-cell JSON / 报告 / 截图都 commit 到 results/_/，并自动更新项目首页的总表。完整 agent transcript 与生成的源代码作为 workflow artifact 保留 30 天。

快速上手

1. 在 4 朵云上备好账号与 API token（Cloudish 只需账号），填进 .env
2. scripts/set-secrets.sh 把 token 存进 GitHub Actions secrets
3. Smoke test：gh workflow run benchmark.yml -f smoke_test=true（用 stub 替换 Claude Code 跑全流程，验证账户 / 清理）
4. 真实 run：gh workflow run benchmark.yml
5. Run 完后读 https://aideploybench.com 或 results// 下的 summary.md

适用人群

• AI 编程 agent 评测研究员与开源爱好者
• 多云迁移 / 成本 FinOps 团队，关心"AI 写代码 + 真部署"的总成本
• Cloud / DevEx 工程师，调查"agent + 云的组合性价比"
• Agent 厂商基准对比

官方链接

• 仓库：https://github.com/cloudishai/ai-deploy-bench
• 结果站：https://aideploybench.com
• License：MIT