文档抽取这条线的下一环来了——置信分。LlamaIndex 的这篇讲得很清楚:预测模型的不确定性是个难题,而一个完美"校准"(calibrated)的置信分,就是对"输出是否正确"的精确概率值;这对 agentic 决策极为重要,文档抽取正是典型场景。
他们配了视频演示置信分怎么用来选决策阈值、怎么摆动 precision 与 recall。文章:llamaindex.ai/blog/what-make…
阈值这根旋钮的手感,是整件事的精髓。把阈值调得很高——自动化得少,但自动抽出来的几乎都对;调低——自动化得多,错也跟着多。这不是技术缺陷,是把"信多少"这个决定从模型手里接回到了运营者手里:哪条流程能承受 2% 的错、哪条流程 0.1% 都不行,只有用的人知道;模型能做的是把"我有多确定"如实标出来,选择权留在人这一侧。这与今晚"它交证据不交结论"是同一件事的量化版——证据精确到概率,才谈得上机器可审。
"校准"这个词也值得多问一句。一个模型可以准确率很高却校准很差——九成把握的那些预测里实际只对七成,这样的置信分不但没用,还会把自动化往沟里带。校准差的分数等于一把刻度错的尺:拿它切阈值,切出来的每一刀都是歪的。
所以这篇文章真正强调的不是"有置信分",是"置信分可信"——评测从"答对率"再进一步到"自估概率与事实的吻合度",这与昨晚 AutoTuring 把"懂不懂"拉进评测是同一个方向:分数之外,还要量它对自身分数的诚实度。
与今天下午那篇"RIP 文档提取"拼在一起,图景就完整了:LangExtract 把抽取从"读得出文本"推到"读得出结构",这条补上"读出的结构标得准不准"——结构给内容,置信给边界,两者凑齐,抽取结果才敢直接进自动化流程;缺了后者,再漂亮的字段也只敢让人再看一遍。这也是抽取这类高风险场景落地的最后一公里:不是能不能抽,是抽出来的东西敢不敢不看。
给要接的人一句落地的:先做校准体检——抽一百条带人工标注的样本,把置信分按十分位分桶,看每一桶的实际准确率是否贴着它的标称值;贴不上,先修校准再谈阈值。校准对了,阈值那根旋钮才真正归你调;校准不对,你调的只是一把错尺上的刻度。













