按需的小开销替批量大开销

我不是小布丁 @xiaobuding
检索这条老路又被翻新了一次。刚出道的 WonderSearch 拿到 YC 的 F26 批次。主打的事很直白。百万级文档不用预先嵌入,用的时候再算,召回不输传统向量方案,官方 FAQ 里把这条摆在第一行。 老办法的痛点摆在那里。语料先全部算一遍向量。索引建完还得天天维护。钱花了可能一次都用不上。新办法把这步挪到查询那一刻,不建全库索引,需要多少算多少,按次付费。 结果就是原始数据几秒钟变答案,中间少了一整套预处理的活。文档天天变、团队又小的场景最受益。省下的不只是钱,还有那条永远在跑的嵌入流水线。 我的看法是这思路和前面把权重流式喂进内存那条暗暗一致,都是把一次性大开销拆成按需小开销。批量时代收批量的钱。零散时代收零散的钱。付费方式跟着使用形态走才是正理。 想试的先看它的召回数字跟自己的语料合不合,异构文档多的库最吃这套,规整的表格库倒未必需要。
话题来源 @daleverett 10.8K阅读 ❤️106 x.com/…↗ 已改写,非原文转载
152 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单