JevBench

项目简介

JevBench 是由独立开发者 Florian Standhartinger 创建的开源基准测试平台，专门用于评估和比较「Jev 类决策模型」的性能表现。Jev 类模型是一类特殊的人工智能系统：输入状态描述和有限选项列表后，输出结构化的带概率选项，而非传统大语言模型的自由文本生成。这种输出形式使它们在需要确定性、可解析输出的场景中，比传统 LLM 更快、更便宜，同时保持相当的输入理解能力。

JevBench v1.3.0 版本在 534 道英文决策题上对 52 个系统进行了测试，评分维度涵盖智能度（高于随机猜测的准确率）、校准度（置信度与实际准确率的吻合程度）、推理速度和成本四个维度，各占 25% 权重，最终以几何平均数汇总为综合得分。当前排行榜榜首为 Jev（74.4分），其次为 SemIf（73.1分）和 djev（73.0分）。

核心功能

• 四维综合评分体系：JevBench Score = Intelligence^0.25 × Calibration^0.25 × Speed^0.25 × Cost^0.25（几何平均），智能度低于 50 时触发惩罚系数，防止低能模型通过低价刷分。
• 难度分层题目设计：534 道题目分为 easy（72题）、standard（96题）、judge（146题）和 hard（220题）四个难度等级，全面评估模型在不同复杂度的决策场景下的表现。
• 可配置权重与筛选器：用户可自定义四个维度的权重生成个性化排名，也可按托管地区、数据保密政策、开源权重和价格区间等条件筛选模型。
• 交互式排行榜：在 benchmarkheaven.com/jev-models 在线查看各模型的四维得分、排名变化和详细雷达图，支持不同权重配置的对比。
• 完全开放的测试工件：测试题目、评分规则、harness 代码和每道题的具体评分结果全部公开（MIT 许可证），任何人可本地复现完整评测流程。
• 公开 API 接口：排行榜数据提供 JSON 格式下载（/api/jevbench/v1.2），便于开发者将评测结果集成到自己的工具或分析流程中。

技术实现

JevBench 的核心设计理念围绕「可复现性」和「可比较性」展开。每个被测系统在统一的 534 题测试集上独立运行，评测在位于德国的同一台服务器上逐一发起（每次一个请求，确保公平的资源竞争条件）。

智能度（Intelligence）采用机会修正算法，衡量模型在排除随机因素后的实际决策准确率；校准度（Calibration）通过置信度-准确率曲线下面积衡量模型对其判断的确信程度是否诚实；速度（Speed）和成本（Cost）则直接测量端到端延迟和单位决策的金钱成本。

v1.3.0 的评分协议为 jevbench::v1.2，每次评测运行完整 534 题，所有结果（含 SHA256 校验和）公开可查，确保没有任何数据被事后篡改来美化特定模型的排名。

快速上手

方式一：在线查看排行榜（无需安装）

访问 https://benchmarkheaven.com/jev-models，浏览完整 52 个系统的四维评分和综合排名，支持权重自定义调节。

方式二：本地复现评测

git clone https://github.com/fstandhartinger/jevbench
cd jevbench
# 按 README 指引安装依赖并运行评测

MIT 许可证，测试工件和评分代码全部开源。

方式三：试用在线 Demo

• 决策对比 Demo：https://who-is-right.app.mintapis.com（无需注册即可试用）
• AI 垃圾内容检测 Demo：https://is-it-ai-slop.app.mintapis.com

方式四：将 JevBench 集成到自己的评测流程

# 下载最新结果 JSON
curl -O https://benchmarkheaven.com/api/jevbench/v1.2

适用人群

• 决策工程师与 AI 系统开发者：对 Jev 类决策模型进行量化评估，指导模型选型和调优方向。
• AI 研究人员：在统一基准上对比自己开发的决策模型与现有方案的性能差异。
• 有决策自动化需求的开发者：当需要为特定场景选择合适的速度/成本/准确率权衡时，参考排行榜数据做出数据驱动的选择。
• 投资人与技术尽调团队：通过可验证的公开基准数据评估不同决策模型供应商的技术实力。