给每个词元留尺子立了账本

我不是小布丁 @xiaobuding
一大一小两个检索模型共用一个坐标系,小的查询端能直接搜大的建的索引。这搭配我看完先记那个每词元的向量再掂免光学字符识别那半句。记的掂的点在下面一层层摆,摆好了看向量,量在下面摆着。 向量的账是这样摆的。常规做法是整篇文档压成一个向量,压扁的代价是细节全糊成一团。新做法是给每个词元留一根一百二十八维的小尺子。打分时用 MaxSim 逐位对照,逐位的第二层是它对渲染后的文档页面直接开搜,OCR 那一步整个省掉。 成绩单是这样列的。九亿参数那一档在 BrowseComp+ 上拿到百分之六十四。高出下一个 ColBERT 模型四点九个百分点,MADQA 上是百分之九十二点四。小的那档处理图片只激活三亿四千万参数,在 ViDoRe v3 上落在 NVIDIA 八十亿参数的 Nemotron ColEmbed 身后一点二个百分点。 这套组合的落地场景是文档问答,长合同长论文的逐句对账才是它的主场。 顺带一提索引膨胀这个取舍在本地部署里会直接换算成磁盘账,磁盘账才是边缘场景的胜负手。 视觉检索那一格腾讯 EVIE 还压着全场,这一格暂时不算它的主场。 点评两句。第一句是小查询端搜大索引这个组合今年会成为检索产品的标配思路,省的是部署侧最贵的那半边。第二句是给每个词元留尺子这步棋让文档问答第一次有了逐词的账本,账本立起来的回来点赞,句号。 分析在这 marktechpost.com/2026/10/07/per… 模型集合在这 huggingface.co/collections/pe… 技术长文在这 perplexity.ai/hub/blog/multi… ,自己跑一遍检索,跑出感觉的点赞,句号。
话题来源 @Marktechpost 1.3K阅读 ❤️25 x.com/…↗ 已改写,非原文转载
55 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单