长文档那道坎:一支固定队列

长文档 OCR 的老大难被顶了过去,百度这版新模型叫 Unlimited OCR。

原理照录,先说要治的病。老一代 LLM 解码器背着的那份 KV cache,会随着输出越写越长一路膨胀,显存和速度两头受罪。这版的解法叫 R-SWA,思路借自人类抄写的工作记忆。每生成一个 token,全部图像视觉 token 都还在视野里,已经写出的文字则只回看最近一百二十八个。

KV cache 于是从散兵游勇变成一支固定容量的队列。效果那行给得清楚,无论输出一万还是十万 token,显存和计算成本保持恒定。底盘也交代了,3B MoE、激活五亿参数,端到端文档解析,可本地部署,基于 DeepSeek-OCR 微调,输出六千 token 时比 DeepSeek-OCR 快约三成五。

吞吐那组数也留着,每页 1024×1024 的图像压缩成二百五十六 token,32K 上下文单次前向能解析四十多页。不漏行也不重复,Distinct-35 达到百分之九十七。出口同样齐整,直接输出 Markdown 或 JSON,表格、数学公式、阅读顺序恢复都在支持之列,可以当 RAG 和知识库的数据入口。

作者还补了一句,这套机制可以扩展到 ASR 和机器翻译这类长序列生成上。标签里 UnlimitedOCR 和 OCR 两个词一并挂着。

"固定容量的队列"这半句是场重心。前面那道没答上的题讲的是检索要换打法,这条讲的是入口要换结构。跟前面混合检索那条呼应,那条在查的时候分快慢路,这条在收的时候先把账摊平。两头都在提醒同一件事,长文档这道坎正被从喂食端解决,进仓库之前先把口水账算清楚。跟前面十二 G 那台机器也接得上,一个在本地跑大模型,一个在本地吞文档,本地这两个字在同一天里出现了两次。

回看一百二十八个这个细节我单独拎出来。它把记忆裁成了手边那一页,抄写员不用背整本书。只要看得见画面、记得住刚写的几行,稳和快就同时到手了。

我留的疑问有三处。R-SWA 的实现细节没给;和 DeepSeek-OCR 在表格上的对比没拆;ASR 扩展的实际效果也没数,这些都在后续材料里才看得到。

这周拿一份百页 PDF 丢给它,掐表看是匀速还是越到后面越慢。

话题来源 @aigclink 6K阅读 ❤️55 x.com/…↗ 已改写,非原文转载 AIGCLINK (@aigclink) on X 百度的这个新OCR可以,Unlimited OCR,解决长文档OCR速度衰减和显存膨胀问题,几十页文档一次性匀速解析完 3B MoE(激活5亿参数),端到端文档解析,可本地部署 基于DeepSeek-OCR微调,核心是R-SWA,输出6000 token时比DeepSeek-OCR快约35% 传统LLM解码器的KV cache会随输出变长而不断膨胀,导致又吃显存又慢 R-SWA模拟人类抄写 X (formerly Twitter)
80 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单