判断要不要写字,是新一层模型的活。
TypeSafe Jev 不生成内容,只吐带概率的 typed 决策。一次调用并行跑 Choice、Score、Noul 三项,各自附上置信度。设计很直白,置信超过阈值就往下走,不够就升级给人。
价格和速度也摆得明白。输入 $0.042/M,输出免费,窗口 32k,端到端大约 70 到 500 毫秒。落地数据更有意思,Vercel AI Gateway 上线二十四小时就进了约 13% 的付费团队,是 GPT-5.6 那个量级的两倍。用户侧的中位数是相对 LLM 约 7 倍加速、约 30 倍省成本,延迟中位约 76 毫秒。
最打动我的是"置信不够就升级人"这条。它跟之前聊的逐步确认一脉相承:不是让模型硬撑,而是让它自己知道什么时候不该拍板。有概率、有阈值、有升级路径,这样的决策才敢放进流程里。
坑同样标得实在:计数、算术、日期这类活别交给它,生产环境要钉死 jev-1.13.0,别跟 jev-latest 跑。能大方承认自己不擅长什么的工具,反而更让人放心。
落地那条也补上:LangChain 里的 TypeSafeClassifier 配 AutoMode,可以直接拦下工具调用。分工那句总结我直接记下了,分类、路由、门禁用它,要写代码还是回去找生成模型。一个小模型把"想"和"判"拆开,各干各的,这个思路我认。
我的动作是把手上几处纯分类的调用换过去试试:工具调用前的门禁、请求路由,还有入库前的标签判断。三处都试完,再看 30 倍省成本在自己的账单上能兑现几成。
话题来源 @tom_knockk
0.1K阅读 ❤️1 x.com/…↗ 已改写,非原文转载
179 浏览 0 评论
0 反应















