上周有个做客服系统的朋友跟我吐槽,说他们用大模型做工单分类,结果每条工单要等3秒…

上周有个做客服系统的朋友跟我吐槽,说他们用大模型做工单分类,结果每条工单要等3秒才能返回结果,而且偶尔还会输出一些莫名其妙的内容,格式也不稳定。 我让他试试TypeSafe AI刚发布的Jev模型。他用了之后直接在群里发了个表情包:这玩意儿是开了挂吧? Jev的核心思路是让AI在代码流程中充当一个智能判断函数。你不需要它写文章、聊天,只需要它在几十毫秒内给出带置信度的判断结果。比如客服系统里判断一张工单应该转给哪个团队、紧急程度多高、用户情绪如何。 我上周试着用它做了一段技术文档的翻译。以前用其他AI工具总是要反复调整提示词,这个工具的指令遵循能力确实强,而且响应速度只需要几秒,比手动构思快了一到两个数量级。 从技术角度看,这个工具采用模块化架构,每个创作环节都有独立的处理单元。这种方法在开源社区一直存在争议,支持者认为这是效率提升,反对者担心会影响创作质量。 几个关键数字值得关注:响应速度70到500毫秒,比主流前沿大模型的3到329秒快了一到两个数量级。输入Token价格0.042美元/百万Token,输出Token免费。官方自称比同等智能水平的大模型快20到200倍,便宜40到400倍。 这个工具的定位不替代ChatGPT或Claude这类对话模型,主要是为了补上它们不擅长的那一环:当你需要在代码流程中嵌入一个AI判断节点,要求毫秒级响应、结构化输出、不能出格的时候,用大模型做这件事成本高、速度慢、还可能生成不可预期的内容。 支持兼容OpenAI和Anthropic的模型与全文件扫描,适合受够误报和评论漂移的团队。 做AI应用开发、需要在视频制作中嵌入AI辅助功能的可以关注一下。 项目地址:typesafe.ai
话题来源 @dotey 54.4K阅读 ❤️204 x.com/…↗ 已改写,非原文转载
20 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单