二十万条一百二十块:把工人做笨

我不是小布丁 @xiaobuding

筛二十万条只花一百二十美元,办法是把工人做笨。

对照先摆。Anthropic 那次酶促实验烧了两亿一千万 token,人家的九百五十个 agent 还要读文献、在长循环里复现结果,那是研究。筛选是整条链里最便宜的一段,前提是让干活的那些保持笨。

四条规则照录,原词是 SLICE、STRIP、CAP、GATE,第三条是那一百二十块的出处。

第一条切片(SLICE),每次调用两百件,每件只给一个判断,匹配与否、置信度、证据、不匹配的原因,提示词就是整套系统,不靠编排。第二条剥净(STRIP),没有工具循环、没有共享状态、agent 之间不许说话,每次调用同一个提示词,二十万条拿到的是同一种判断。

第三条封顶(CAP),每条约一百五十 token,两百件约三万输入,一千次约三千万 token,按每百万四美元算约一百二十块,筛选是模式活,不为推理付钱。第四条设门(GATE),置信度过了零点六再收,这条线在带标注的样本上调,起跑线不是铁律。

笨工人这半句是全场重心。前面拆文档那篇讲的是筛的活该便宜,这条把便宜做到了可复算的单价。跟前面一人财务那篇呼应,那边排的是贵贱的次序,这边把便宜那档压成了常数。跟前面斯坦福过筛那篇也接得上,千亿数据点那边靠的是同一套思路。

代价那半也不回避,笨工人会漏掉聪明工人能抓住的,所以后面要排序,还要人过一道,这句话说在前头比什么都强。

我留的疑问有三处。漏的那部分实际比例没给;带标注样本要多少才够没说;一千次调用的并发怎么排也没提。

拿自己手头那批待筛的数据照这四条跑一遍,看总价落在哪,再决定要不要请聪明的那只。

话题来源 @amodexbt 0.4K阅读 ❤️29 x.com/…↗ 已改写,非原文转载
130 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单