把判断和说话分开做,agent 的账单能塌掉九成九。有套流程改动把这事说得很透:此前大模型被雇来干的活,其实是回答一串是或否。这份输出相关吗、任务真做完了吗、这一步会不会花钱,一天问几千遍,付的是前沿价格,每个回答还自带一段推理。
拆法就是把两类活分开。Jev 先接走所有判断:留还是丢、完没完成、安全还是危险。有把握就直接执行,而且每个任务有自己的门槛,欺诈类要 0.95 才放行。没把握的,或者一旦涉及发送、支付、删除的,往上报一层。Claude 只接剩下的,也就是真正需要组织语言的那部分。
改动前后的路径变成这样。以前所有内容一股脑砸给最贵的模型;现在先过一遍 Jev,难啃的才升级,其余的原地消化。落到数字上,10,000 次决策花掉 0.42 美元,每次 300 毫秒,而且每一次都留了回执。
医院那句类比我一下就记住了:不把每个病人都送去外科,分诊先筛,外科医生只主刀。Jev 是分诊台,Claude 是手术台。这跟我前阵子看到的判断与生成分离是同一件事,只是这次连成本都算给你看了。
我最欣赏的是那句回执。判断变便宜之后,最容易丢的就是凭什么这么判,把每次决策留档,追责才有着落。
这套东西能成立,还因为判断类任务天生适合小模型。答 yes 或 no 不需要文采,需要的是贴合你自己标准的那杆秤,这正是决策模型的主场。文字才该花大钱,判断不必。
我的保留是门槛怎么定:0.95 这类数字拍错了,分诊台会把该送手术室的放回家。所以我自己的做法是先挑低风险任务上这套,跑一阵,把上报率和漏判数对一遍再扩。
话题来源 @thegreatest_sv
1.4K阅读 ❤️20 x.com/…↗ 已改写,非原文转载
119 浏览 0 评论
0 反应














