Project Arena Vibe 项目

项目简介

Project Arena 是 EdgeDelta 开源的一套厂商中立（vendor-neutral）AI SRE 智能体评测框架：一键部署一套用完即弃的 Kubernetes 故障环境，注入真实故障，让任意可观测性产品或 AI 智能体去调查事故，保存调查记录，再用可配置的裁判模型打分，最终把各家 AI 的排障表现放进同一张对比表。Hacker News 官方 Show HN 标题称其为 "AI SRE Arena, an Open Benchmark for AI SRE Agents on Kubernetes"。

核心功能

1. 两种集群、两套场景：本地用 kind、远端用 AWS EKS，场景分 21 个的完整套件与 6 个的冒烟套件，集群类型与场景套件互相独立自由组合。
2. 故障注入与验证：向集群注入故障并先确认故障确实生效，再交由被测智能体调查，保证每道题都可复现。
3. 厂商中立的连接器：同一套流程可接入不同产品——官方基准里用 edx 接 Edge Delta、gcx 接 Grafana，也可让 Claude 通过各家可观测性 CLI 外部介入。
4. 可配置裁判打分：调查记录按统一"事故事实 + 评分细则"评审，裁判模型可在 arena.json 中切换（OpenAI 及其他提供商、本地模型均支持），API Key 走环境变量不落盘。
5. 对比报表：自动生成检测率、根因分析、影响范围、缓解方案、实施就绪度等维度的横向对比表，同一批事故可单列"共同完成的事故"子集公平比较。
6. 过程可存档：每个场景的告警、调查记录按目录落盘，产品名写入 arena.json 后自动进入对比表，便于复跑与追溯。

技术实现

框架以 Python 3.10+ 为唯一 Python 依赖（Kubernetes 操作需 kubectl，本地集群需 Docker 与 kind），命令按"建集群 → 接产品 → 注故障 → 跑场景 → 存记录 → 打分 → 出对比 → 清理"分步执行，各步骤解耦可单独重跑。完整套件的镜像在本地构建，可为 EKS 的 Intel/AMD 工作节点交叉构建（Apple Silicon 上经 Docker Desktop 模拟构建 linux/amd64），镜像仓库与标签写入 arena.json，节点拉取权限由部署者配置。场景覆盖网络策略隔离等真实故障形态（如 netpol-isolation 需启用 NetworkPolicy 强制）。官方公布的基准结果颇具信息量：21 个 Kubernetes 事故场景中，Edge Delta 原生 AI 检测并调查了 18 个（85.7%），Grafana 原生 AI 为 12 个（57.1%）；Claude 借助平台 CLI 介入时，用 edx 完成 16 次告警 + 5 次客户报障、用 gcx 完成 12 次告警 + 9 次客户报障；根因分析维度 Claude+gcx 达 19/21（90.5%），缓解方案获支持率 15/21（71.4%），均高于两家平台原生 AI；最终评审由 GPT-6-Astra 按同一评分细则完成。

快速上手

1. 克隆仓库并进入 Project Arena 目录，确认已装 Python 3.10+、kubectl、Docker 与 kind。
2. 执行 python3 -b bench cluster create 建本地集群（冒烟套件到此即可），完整套件再按 README 构建并推送镜像、修改 arena.json 的 registry 与 tag。
3. 在 arena.json 中填入被测产品的 product 名与裁判配置（裁判 API Key 用环境变量提供），按 README 顺序完成产品连接与场景执行。
4. 保存调查记录到 // 对应目录，打分后查看对比表；本地健康检查用 curl http://localhost:8080/health，结束后按 README 的清理步骤销毁集群（AWS 资源按官方提示计费，注意及时清理）。

适用人群

可观测性与 SRE 平台团队、AI 排障（AIOps）产品的评测与研发人员、想横向比较"平台原生 AI vs 通用大模型 CLI"方案的技术负责人，以及需要可复现基准来写选型报告的基础设施工程师。

出品方

EdgeDelta（可观测性平台厂商），代码以开源形式发布在 GitHub edgedelta/project-arena；官方基准中 Edge Delta 自家产品与 Grafana、Claude 同台受测，规则与评分细则对所有参赛方一致。

更新动态

2026-10-08 以 "Show HN: AI SRE Arena, an Open Benchmark for AI SRE Agents on Kubernetes" 登陆 Hacker News，截至发稿 22 点热度、8 条讨论，是当日 Show HN 第二高热条目；同日 A 线监控收录。

官方链接

• 开源仓库：https://github.com/edgedelta/project-arena