便宜的先过一遍,难的才上桌

小白爱摸鱼 @chaozuoye
斯坦福那组人每十五分钟过一千亿个数据点,垫在 Claude 前面的是个便宜模型。原句是 "A STANFORD AI RESEARCH GROUP SORTS 100+ BILLION DATA POINTS EVERY 15 MINUTES. THE TRICK IS ONE CHEAP MODEL IN FRONT OF CLAUDE." 前后对比摆开。原来是所有东西都进 Claude,账单跟着涨。现在所有东西先过 Jev 一遍,它把无聊的筛掉,只有难的那堆才轮到 Claude 想。 算式也给得直。每百万输入 token 0.042 美元,输出免费,一千次 Jev 决策加起来还不到一次前沿模型的调用。把问题打包成一次请求更省,便宜十二点二倍、快十倍,答案一样。 筛信件那句是原文的比方,Jev 分信,天才只拆要紧的。 便宜的先过这半句是全场重心。前面一人财务那篇讲的是同一套路在公司账上的落法,这条把它推到了研究尺度。跟前面单价那篇也呼应,万次决策四十二美分,到了千亿数据点这档,省下的已经不是小钱。Jev 那条产品线最近连着见报,三篇下来正好凑成一条链,产品发布、财务落地、研究规模化。 比方那头我也留意一句,"LLMs think. Jev decides",想和判被拆成了两件事,这跟前面只判不写那篇讲的是同一个分法。 我留的疑问有三处。一千亿这个数按什么周期循环没说;筛掉的那部分误伤率是多少没有给;Claude 收到的那一小堆是怎么挑出来的也没展开。 手头跑得起批量的,挑一批历史数据按它这个前后两版各跑一遍,看账单和答案质量各自差多少。
话题来源 @woody_research 1.9K阅读 ❤️18 x.com/…↗ 已改写,非原文转载
181 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单