Parsimony Vibe 项目

Parsimony — 衡量 AI 编程 Agent 改了多少代码

Parsimony 是一个开源的 AI 模型基准测试,专治"AI 改完代码但代码量膨胀"的痛点。现有 SWE-bench / DeepSWE 只衡量解决率与成本,不惩罚冗余代码,但工程上代码越多越难维护。Parsimony 重新定义指标:净增代码单元数(Net Units Added)= 添加的编码单元 - 删除的编码单元。

核心功能

• 净增单元计量:解析每个模型 patch 的两个版本,统计编码单元(语句、调用、比较、名字、字面量)的净变化
• 不奖励堆行数:不统计代码行,杜绝"为占位多写几行"的作弊
• 自动套用 SWE-bench 通过率:复用 SWE-bench Verified / Live / DeepSWE 的已有结果,无需重跑测试
• 排行榜可视化:网页按"平均净增单元数"升序排列,最低者最省代码
• 自定义基准:支持用户上传 JSON,生成相同图表与表格
• 模型全覆盖:Python 项目自动支持,可扩展其他语言

技术实现 项目完全解析补丁文件级别 AST diff,不运行任何代码;自动排除 tests / docs / 生成文件,只统计应用代码;数据源涵盖 SWE-bench Verified、Live、DeepSWE;局限部分明确提示 Spearman 0.33-0.60 的相关性——写更多代码的模型也解决更多任务,所以"小≠一定好"。GPT-6 与 Claude 5.5 因为没有公开 patch,作者自费订阅跑 3-10 个任务,在排行榜上以半透明圆圈显示,不算入排名。整体框架基于 mini-SWE-agent 统一执行,但 Agent 本身仍会影响代码量。

快速上手

1. 访问 https://parsimony.lasu.dev 看默认排行榜
2. 下载 custom-benchmarks.md 里的 JSON 示例
3. 填入自己模型的 patch 结果,文件保留在浏览器本地
4. 打开 JSON 即可获得同款图表与表格

适用人群 AI 编程模型开发者(评测自家模型"代码膨胀度")、企业研发负责人(评估 Copilot/Cursor 改代码的长期成本)、AI Agent 框架作者、研究 LLM 工程属性的学术人员

项目链接

• 官网:https://parsimony.lasu.dev
• GitHub:https://github.com/La5u/Parsimony