文档解析终于有标准答案了,ParseBench 把 90+ 解析器按在地上摩擦

ParseBench 文档解析基准

body { font-family: -apple-system, BlinkMacSystemFont, “Segoe UI”, Roboto, “Helvetica Neue”, Arial, sans-serif; max-width: 860px; margin: 0 auto; padding: 2rem; line-height: 1.8; color: #222; }
h2 { font-size: 1.6rem; margin-top: 2rem; border-bottom: 2px solid #eee; padding-bottom: 0.4rem; }
h3 { font-size: 1.3rem; margin-top: 1.6rem; color: #333; }
h4 { font-size: 1.1rem; margin-top: 1.2rem; color: #444; }
p { margin: 0.8rem 0; }
ul, ol { margin: 0.6rem 0; padding-left: 1.6rem; }
li { margin: 0.3rem 0; }
pre { background: #f6f8fa; padding: 1rem; overflow-x: auto; border-radius: 6px; font-size: 0.9rem; }
code { background: #f6f8fa; padding: 0.15rem 0.35rem; border-radius: 4px; font-size: 0.9em; font-family: Menlo, Monaco, monospace; }
table { border-collapse: collapse; width: 100%; margin: 1rem 0; font-size: 0.95rem; }
td, th { border: 1px solid #ddd; padding: 0.5rem 0.75rem; text-align: left; }
tr:nth-child(even) { background: #fafafa; }
strong { color: #000; }

文档解析终于有标准答案了,ParseBench 把 90+ 解析器按在地上摩擦

导语

你的 RAG 管线读了几千页 PDF,结果回答问题时总是漏表格、搞错层级、把图表说明和正文混在一起?问题大概率不在模型,而在第一步:文档解析器已经把结构毁掉了。LlamaIndex 刚把 ParseBench CVPR 2026 的 benchmark 公开,我帮你把 90+ 解析器的真实表现拆开看,哪些该用、哪些该避坑、成本差多少,都在这里。

正文

问题:AI 读文档,第一步就已经输了

很多团队做 RAG 或 AI Agent 时,会把问题归到模型、索引、Prompt 上,但真实故障常常发生在最前面:PDF/Word/HTML 被解析成纯文本后,表格丢了、标题层级乱了、图表说明散到段落里、复选框选项和正文分家。

结果就是:模型拿到一段“看起来完整”的文字,其实关键信息已经塌陷了。这类失败很难在 benchmark 里暴露,因为传统文档解析评测大多只算“和参考答案的字面相似度”,不测“解析结果还能不能被 Agent 可靠地执行后续动作”。

这就是 ParseBench 想解决的事。它来自 LlamaIndex 的 run-llama 团队,论文编号 arxiv 2604.08538,已经被 CVPR 2026 接收。

方案:ParseBench 怎么测“可执行解析质量”

ParseBench 的评测思路很直接:不看你还原了多少字,而看你保留了多少“能让 Agent 继续干活”的结构。

数据集:约 2,000 个人工校验过的真实企业文档页面,覆盖保险、金融、政府三类场景。没有合成数据,都是生产环境里的 PDF。

5 个评测维度

  • Tables:表格结构、行列关系、单元格合并能不能保留
  • Charts:图表说明、坐标轴、图例能不能被正确提取
  • Content Faithfulness:正文内容有没有丢段、丢行、改语义
  • Semantic Formatting:标题、列表、引用、复选框等语义结构有没有塌
  • Visual Grounding:视觉元素和文本之间的对应关系还在不在
  • 规模:公开评测了 90+ 条 pipeline,既有开源模型,也有闭源 API,覆盖商业服务、开源权重、VLM 解析器三类。

    数据:谁赢了,谁在混

    我把 leaderboard 前几名和成本一起列出来,方便你直接做选型:

    排名 解析器 类别 综合得分 Tables Charts 内容忠实度 语义格式 视觉定位 单页成本
    1 LlamaParse Agentic 商业 API 84.88 90.74 78.11 89.68 85.24 80.62 1.25¢
    2 LlamaParse Cost Effective 商业 API 76.77 81.42 70.15 90.92 68.78 72.59 0.38¢
    3 KDL-Frontier-Parser-nano 开源 VLM 76.36 85.56 63.41 87.19 66.81 78.84
    4 Google Gemini 3 Flash (Thinking High) 闭源 VLM 75.05 91.50 64.79 90.87 68.31 59.77 2.41¢
    5 Infinity-Parser2-Pro 开源 VLM 74.28 86.4 61.3 89.7 59.1 74.9

    几个值得注意的点:

    1. LlamaParse 一骑绝尘。Agentic 模式综合 84.88,Cost Effective 模式 76.77,而且内容忠实度分别达到 89.68 和 90.92。换句话说,它不只是结构保留得好,连“没改意思”这件事也做得不错。
  • 表格是最大分水岭。前 5 名里,Tables 得分最低的也有 61.3,但很多商业解析器直接掉到 40 以下。如果你业务里 PDF 表格多,这一项可以直接一票否决。
  • 图表解析普遍拉胯。即使第一名 Charts 也只有 78.11,而开源 VLM 普遍在 60 附近。如果你的 RAG 场景需要 Agent 理解财务图表、工程图纸,现在这个环节还是人工兜底比较稳。
  • 成本差 40 倍。Anthropic Fable 5 单页成本 15.60¢,LlamaParse Cost Effective 只要 0.38¢。在内容忠实度 90.92 vs 90.02 几乎持平的情况下,成本差距会直接决定你选哪家。
  • 开源方案已经能用。KDL-Frontier-Parser-nano 和 Infinity-Parser2-Pro 综合得分超过 74,虽然没有公开成本,但如果你的数据不能出域,这两个是首选。
  • 代码:怎么在你的 RAG 管线里接 ParseBench

    如果你已经用 LlamaIndex 做 RAG,可以直接复用他们的评测框架:

    # 克隆仓库
    git clone https://github.com/run-llama/ParseBench.git
    cd ParseBench
    
    # 安装依赖
    uv sync --extra runners
    
    # 快速测试单个解析器
    uv run parse-bench run llamaparse_agentic --test
    
    # 全量跑分
    uv run parse-bench run llamaparse_agentic
    
    # 本地查看报告
    uv run parse-bench serve llamaparse_agentic

    pipeline 概念就是“你要评测的解析器 + 配置组合”。仓库里已经内置 90+ pipeline,你也可以自己加。

    如果你不用 LlamaIndex,ParseBench 也暴露了评测维度的 JSON schema,可以把 Table、Chart、Faithfulness、Formatting、Grounding 这 5 项分别打分,集成到你自己的质量门禁里。

    结论:选解析器的判断标准

    现在面对一堆 PDF 解析器,你可以用这套标准直接筛选:

    1. 表格多 → 先看 Tables 得分,低于 80 的直接排除,别省这个钱。
  • 内容不能改语义 → 锁 Content Faithfulness >= 85,这是 RAG 不胡说八道的底线。
  • 成本敏感 → LlamaParse Cost Effective 是当前甜点,0.38¢/页,忠实度 90.92,表格 81.42。
  • 数据不能出域 → 看开源 VLM,KDL-Frontier-Parser-nano 和 Infinity-Parser2-Pro 综合都在 74 以上,够用。
  • Agent 工作流 → 优先选 ParseBench 榜单前 5,因为它们的评测维度本来就是为“可执行解析”设计的,不是字面相似度。
  • 收尾

    ParseBench 的意义不只是“给解析器排个名”,而是把文档解析这件事从“差不多能读”拉到“可量化、可验收”的标准上。如果你现在的 RAG 或 AI Agent 对 PDF/表格/图表有依赖,建议先跑一遍 ParseBench,看看你当前的解析器在哪个维度掉分,再决定要不要换。下一步可以做的是:把你业务里最常出现的 10 类文档扔进 benchmark,拿到真实分后再做选型。

    评论区

    0 条评论

    登录后可评论。

    查看完整榜单
    查看完整榜单
    查看完整榜单