Benchpress 今日发布

产品简介

Benchpress 解决的是一个具体问题：公开基准分再高，也说明不了模型读你自己那份文档是什么水平。它让你上传一页自己的文档，让主流文档 AI 逐个读一遍，再按正确答案逐字段打分，并把每个模型的成本与速度并排列出——一句话概括它的主张：基准分来自别人的干净页面，你的页面不是。

核心功能

• 一页文档全模型实测：丢进一页文档，主流文档 AI 全部读一遍，每个模型按正确答案逐字段对照打分。
• 成本与速度并排：结果不只看准确度，还把每个模型的调用成本与响应速度放在旁边，方便同时考虑效果与账单。
• 榜单（Leaderboard）：按模型给出总排名与分项成绩，可横向比较不同厂商模型在你这份文档上的真实表现。
• 断点续做（Resume）：中途离开后可从上次位置继续，不用从头再跑一遍。
• 设备端脱敏：个人身份信息可以先在你自己的设备上打码再上传，脱敏动作发生在本地。

基准版图

官网列出 67 个公开的文档 AI 基准并标注各自类别，覆盖问答（DocVQA、TextVQA、MP-DocVQA、OfficeQA 系列）、OCR（OCRBench、OCRBench v2、CC-OCR、OmniAI OCR Benchmark、OCR-HandwritingHAT）、文档解析（OmniDocBench、olmOCR-Bench、ParseBench）、表格（PubTabNet、FinTabNet、TableBank、PubTables-1M、Chunkr Layout Bench、chunkr-table-benchmark）、版面（PubLayNet、DocBank）、图表（ChartQA、InfographicVQA、CharXiv）、表单与票据（FUNSD、CORD、SROIE、XFUND、DocILE、WildReceipt）、长文档（MMLongBench-Doc、LongDocURL、M-LongDoc、LongExtractBench-50）、合同与财报（Kleister-NDA、Kleister-Charity）、信息抽取（ExtractBench、VRDU、EPHOIE、POIE、IAM、RD-TableBench、RealDocBench、SCORE-Bench）等。

评分维度

官网示例卡片给出一份典型成绩：总分 94.2，在 document parsing 榜单中排名 1（榜单共 38 个模型），分项为文本 96.1、表格 91.4、版面 93.0、阅读顺序 90.2、公式 88.7。同页用一张 INVOICE 做对照：基准页上的运单字段是 Shipper、Consignee、Origin、Destination、Pieces、Weight、Declared value、Service，而真实业务页上会出现横跨字段的印章、微小的方框标签、条形码、发黄折痕的纸张、手写的「2 of 3」以及二维码——这正是基准分覆盖不到的部分。

特色优势

公开基准的分数几乎都来自厂商或数据集自带的页面：干净、数字化、规整。Benchpress 的价值在于把评测基准从「别人的理想样本」拉回「你的真实样本」，并用设备端脱敏降低上传敏感文档的顾虑；官网标注使用免费且无需账号。

应用场景

采购或替换文档解析模型前，用自己真实的发票、合同、运单做一轮横向实测；向业务方证明某个模型在自己文档上的表现而不是引用通用榜单；把成本与速度纳入选型权衡；持续跟踪厂商模型版本更新后在自己数据上的变化。

适用人群

做文档 AI、OCR、RAG 落地的工程师与算法团队；需要为客户选型的 AI 服务商；处理真实脏乱业务单据的财务、供应链与运营团队。

官方链接

官网：https://benchpress.rasyn.tech