Jevman

产品简介

Jevman 是由 Opper AI（一家总部位于斯德哥尔摩、基础设施托管于欧盟的 AI 网关公司）推出的一项开源 AI 模型评测基准：让六个决策模型各自完整游玩 100 局经典吃豆人（Pac-Man），与原版街机幽灵对战，最终生成模型排行榜。用户可以在网页上观看每一局的对局回放、查看排行榜名次，甚至直接与模型同场竞技（Play vs AI）。Jevman 的定位不是又一个静态跑分表，而是把"模型打街机游戏"做成可复现、可挑战、可订阅的公开榜单。

核心功能

1. 模型排行榜：六个模型各打 100 局，按平均分排名，名次附 95% 置信区间（±2 个标准误），误差范围内重叠的模型判定为并列（=1 表示并列）。
2. 对局回放与实时观战：每局游戏均可观看，观察模型在路口处如何在四个方向之间做决策。
3. 人机同场：网页内置 "Play vs AI" 入口，用户可直接上手与经典幽灵对战，对比自己与模型的水平。
4. 开放接入任意模型：任何暴露在 HTTP 端点之后的模型都能参加——托管模型、微调模型、笔记本本地运行的模型均可。仓库提供一个 34 行的示例端点作为起点。
5. 一键跑基准：单条命令即可按排行榜规则跑完整场测试（实时进行、每次回答限时 2 秒、经典幽灵 AI、三条命、单局上限 5 分钟）。
6. CI 自动校验：提交 Pull Request 后，CI 会重放你提交的每一局游戏并核对分数，通过后模型以"自报成绩"身份进入排行榜。
7. 手工挑战模型：用户可在页面上向任一参赛模型发起挑战，用自己的操作水平做直观对照。

技术实现与评测方法

评测规则设计得相当严谨：游戏在每个路口把迷宫状态（含豆子与幽灵位置）以 JSON 发给模型并提问，模型需返回每个方向的概率分布，Pac-Man 按概率选择走向。单次回答若超过 2 秒，将由一条简单的备用规则接管，这类走法被计入"备用走法"统计。每局限时 5 分钟以保证测试必然结束（实际最长一局为 2 分 24 秒）。排名采用平均分加 95% 置信区间，避免单局运气成分影响结论。所有对局均有录制，可精确重放，任何成绩都可被第三方复核。若参赛模型部署在 Opper 或其他公开 API 上，提交 Issue 后官方会亲自代跑。

特色优势

• 可复现：录像重放机制让每一分成绩都有据可查，杜绝"跑分注水"。
• 门槛极低：一个 HTTP 端点 + 一条命令 + 一个 PR，任何开发者都能把自己的模型送上榜单。
• 有趣且直观：吃豆人是大众熟悉的游戏，模型强弱通过分数一眼可辨，比抽象的 MMLU 分数更有传播力。
• 开源：Jevman 本体以 AGPL-3.0 协议开源，代码仓库为 opper-ai/jevman-benchmark。

应用场景

1. 模型选型参考：开发者在为 Agent 挑选决策类模型时，用榜单做直观的横向对比。
2. 微调成果展示：研究者把自己微调后的模型提交上榜，量化展示改进幅度。
3. API 服务商压力测试：验证自家推理服务在 2 秒硬时限下的真实响应表现。
4. 教学与科普：用"AI 打游戏"的可视化形式向学生或公众解释模型决策能力。

适用人群

AI 模型开发者、Agent 应用选型的工程师、推理服务提供方、AI 评测与安全研究者，以及对"模型到底能干什么"好奇的技术爱好者。

出品方

Opper AI（Opper Technology AB），总部位于斯德哥尔摩，提供 LLM 网关（700+ 模型单一 API）、模型路由、Agent SDK/CLI 等企业级 AI 基础设施，全部托管于欧盟。

更新动态

2026-10-08，Jevman 以 "Show HN: Jevman – AI decision models play Pac-Man" 的身份在 Hacker News 首次亮相，截至发稿获得 13 点热度与 1 条评论；同日 A 线监控抓取并收录。项目以 AGPL-3.0 开源，榜单接受社区通过 PR 提交的新模型。

官网链接

• 评测页面：https://opper.ai/jevman-benchmark/
• 开源仓库：https://github.com/opper-ai/jevman-benchmark