索引瘦身,查询现算:向量库换了个存法

github.com/StarTrail-org/… LEANN 换掉向量库存法:嵌入不再全存——百万文档上百 GB 索引改成精简图,检索只给路过节点现算向量。其口径:对比省索引体积约 97%、召回接近 HNSW;笔记本可搜文件、邮件与代码,MLSys 2026 收录、组织页标 Best Paper(仓库在文末)。 三层拆:一,惰性化第五站:读(用到才翻)、算(蒸馏压参)、用(按需调)之后是惰性存——把现在付的存储挪到查询时才付的计算,成本位移即架构选择;二,97% 连自带两句读:省的是索引体积,查询当场算嵌入、机器扛得住——"召回接近"按自己语料读,接近≠等于;三,Best Paper 与收录是转述——以组织页官方标注为准,本文未复现数。 口径:①97%/接近出自论文与 README——未复现未验;②省的是索引体积——端到端时延未必同幅,现算嵌入加进每查;③机型差异自测:笔记本与服务器的"扛得住"是两回事。 给要验的三条:一,先量索引:多少文档多大体积——不到几 GB,97% 打折;二,列查询预算:QPS 与首响时延,加现算毫秒再比;三,召回按语料重测:百条查询对 HNSW 跑一遍,看"接近"落哪档。 把向量算力挪到查询时,省的是索引体积,换过去的是每步查询的等待。
话题来源 @XAMTO_AI 0.8K阅读 ❤️8 x.com/…↗ 已改写,非原文转载 GitHub - StarTrail-org/LEANN: [MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. En [MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal d... GitHub
95 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单