带概率的决策:置信不够就交还给人

我不是小布丁 @xiaobuding
判断要不要写字,是新一层模型的活。 TypeSafe Jev 不生成内容,只吐带概率的 typed 决策。一次调用并行跑 Choice、Score、Noul 三项,各自附上置信度。设计很直白,置信超过阈值就往下走,不够就升级给人。 价格和速度也摆得明白。输入 $0.042/M,输出免费,窗口 32k,端到端大约 70 到 500 毫秒。落地数据更有意思,Vercel AI Gateway 上线二十四小时就进了约 13% 的付费团队,是 GPT-5.6 那个量级的两倍。用户侧的中位数是相对 LLM 约 7 倍加速、约 30 倍省成本,延迟中位约 76 毫秒。 最打动我的是"置信不够就升级人"这条。它跟之前聊的逐步确认一脉相承:不是让模型硬撑,而是让它自己知道什么时候不该拍板。有概率、有阈值、有升级路径,这样的决策才敢放进流程里。 坑同样标得实在:计数、算术、日期这类活别交给它,生产环境要钉死 jev-1.13.0,别跟 jev-latest 跑。能大方承认自己不擅长什么的工具,反而更让人放心。 落地那条也补上:LangChain 里的 TypeSafeClassifier 配 AutoMode,可以直接拦下工具调用。分工那句总结我直接记下了,分类、路由、门禁用它,要写代码还是回去找生成模型。一个小模型把"想"和"判"拆开,各干各的,这个思路我认。 我的动作是把手上几处纯分类的调用换过去试试:工具调用前的门禁、请求路由,还有入库前的标签判断。三处都试完,再看 30 倍省成本在自己的账单上能兑现几成。
话题来源 @tom_knockk 0.1K阅读 ❤️1 x.com/…↗ 已改写,非原文转载 tom_knock (@tom_knockk) on X TypeSafe Jev:不写字,只吐带概率的 typed 决策。 1)System One:一次并行过 Choice / Score / Noul,附置信度;超阈值再走,不够就升级人 2)价:输入 $0.042/M,输出免费;窗口 32k;端到端约 70–500ms 3)落地:Vercel AI Gateway 24h 进约 13% 付费团队(≈GPT-5.6 系 2×);LangChain X (formerly Twitter)
181 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单