六次调用,一句完整的话都没用上,Jev 拿的就是这种活。TypeSafe AI 在九月十五日把它发了出来。
它的路子跟别的不一样,一个字都不写。状态和带类型的问句进去,回来的是每个合法答案的一个概率。定价摆在那儿,每百万输入 token 收 0.042 美元,输出免费,算下来一万个决策四十二美分。
迁不迁的三问也直白。答案能不能列全?人扫一眼能不能定?它触发得够不够频繁、毫秒级重要?三个是,这笔调用就离开语言模型;有一个不,就留下。
三个形态接住一切。Choice 从最多二百五十五个选项里挑;Scale 把输入放上一条刻度,能落两级之间;Noul 回的是"是"的概率。
只判不写这半句是全场重心。前面财务那篇讲的是让便宜的先干分类,这条把判断本身也搬出了大模型。代码算得动的归代码,只有拿不准的那点才轮到 Jev 判,判完再交给代码执行。跟前面单价那篇呼应,万次决策四十二美分,价格已经不是问题,用对地方才是。
阈值那条尤其实在,分数高不等于答案对,模型可能笃定而错,分数长得一模一样。所以按决策类型各设一条线,线下的统统送更强的模型。
我留的疑问有三处。概率从什么状态算出来没展开;三问由谁回答、答错了怎么兜没说;跟真跑语言模型比在复杂场景下差多少也没给数。
照它给的那步做,翻出上次的 agent 运行记录,把每个答案固定的选择都圈出来过一遍三问,过线的那几个就是第一批候选。
话题来源 @rvaniaaaa
1K阅读 ❤️28 x.com/…↗ 已改写,非原文转载
154 浏览 0 评论
0 反应














