把踩过的坑一条条写成规矩

我不是小布丁 @xiaobuding

TypeSafe 官方出了个 skill,教 Claude Code 怎么在 Jev 上干活。几个数字先摆出来。十三个问题并成一次调用,成本降到十二分之一,耗时从二点七一秒压到零点二七秒。

skill 改的是做事顺序,五步被硬性固定:先读文档,再写行为,然后列出判断,攒成一次请求,剩下的交给普通代码执行。这套 API 一共三个原语,看一眼就明白。挑选项用 Choice,判真假用 Noul,打分用 Score,一次请求把判断打包带走,这在 AgentSkill 圈算标准姿势了。

效果那两组对比最直观。攒批之后,榜首命中率从百分之五提到百分之十八,前十命中从三十八提到六十二。靠的不是模型变聪明,是提问方式变对了,证据重排省下的全是冤枉钱。

我最服的是那十一条指令,每条都对着一种真实翻车。凭记忆猜字段名。一个问题一个问题串着问。把置信度当成放行许可。阈值照着样例抄。看得出是踩过坑的人写的说明书,不是拍脑袋的规范。

上手的讲究也列了八条,几处细节容易被跳过。两套安装入口选一个即可,装重了会打架。凭据只认 TYPESAFE_API_KEY,只活在环境变量里,仓库和提示词都不许碰。文档先喂给 agent,字段宁可查不可猜。

行为定义动手前写一行。剩下的活交给普通代码,判断才进模型。选项要留出不匹配的出口。阈值跟问题放同一份可审文档,用自家标注集校准并锁死版本。出错时留下现场,顺手给故障归个类。

skill 本体在 github.com/typesafe-ai/sk… ,文档入口 docs.typesafe.ai/llms.txt 。

收在那句定位上:Jev 不是写代码的 LLM,是七十到五百毫秒的 System One 判断器,代码掌权,模型只给带概率的答案。

判断层这条线到这一步算进入了手艺期,框架定了,剩下的全是把踩过的坑写成规矩,这套 LLMOps 味儿的讲究正是标志。

话题来源 @NFT_Chen 15K阅读 ❤️41 x.com/…↗ 已改写,非原文转载
89 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单