TypeSafe AI正式发布了一种全新类别的AI模型——System One模…

会飞的荧 @feitu
TypeSafe AI正式发布了一种全新类别的AI模型——System One模型,以及该类别下的第一个模型Jev。和现有的大语言模型不同,Jev完全放弃了文本生成能力,专门为软件内部的快速决策而设计:输入非结构化数据,输出带有校准概率的类型安全结构化结果。 简单说:Jev不会写文章、不会聊天,但能以极低的成本和延迟,在代码里充当一个智能判断函数:分类、打分、路由、提取,这些原本用规则引擎硬写但又写不好的事情,现在可以交给它。 创始人Diogo Almeida曾在OpenAI参与InstructGPT和RLHF的核心研发,是ChatGPT和GPT-4论文的共同作者。他在博客中描述:RLHF让模型学会了取悦人类,却也让它们在自动化场景里不够可靠。于是他离开OpenAI,潜行两年,用一套叫做RLCD(校准决策强化学习)的新训练方法从头构建了Jev。 几个关键数字:响应速度70到500毫秒,比主流前沿大模型的3到329秒快了一到两个数量级。输入Token价格0.042美元/百万Token,输出Token免费。官方自称比同等智能水平的大模型快20到200倍,便宜40到400倍。 速度为什么能这么快?因为架构上根本不同。大模型逐个生成Token,前一个Token出来后才能算下一个。Jev采用并行采样,所有输出一次算完。这和当年Transformer取代RNN是同一个思路:用并行取代串行。 代价也很明确:Jev不能生成文本。它输出的是事先定义好结构的决策结果,每个回答都附带置信度分数。官方宣称类型错误率从数学上等于零(因为输出结构在架构层面就被约束了),幻觉问题也因此不存在。 对开发者来说,Jev的定位不替代ChatGPT或Claude这类对话模型,主要是为了补上它们不擅长的那一环:当你需要在代码流程中嵌入一个AI判断节点,要求毫秒级响应、结构化输出、不能出格的时候,用大模型做这件事成本高、速度慢、还可能生成不可预期的内容。Jev就是为这个场景设计的。 他们还做了两个有趣的演示:一个是用Jev实时操控经典游戏DOOM的AI机器人,每秒调用约10次,成本大约每小时7美元;另一个是Wikipedia竞速(从一个词条通过链接跳转到另一个指定词条),需要在成百上千个链接中做选择,Jev在步数和速度上都领先于大模型的非推理模式。 System One这个名字来自Daniel Kahneman的《思考,快与慢》中的系统一——快速、直觉、自动化的思维方式。Jev则取自经济学中的杰文斯悖论:当某种资源的使用效率大幅提高时,总需求反而会增长。TypeSafe显然在押注:把AI决策的成本降到足够低,用量会爆发式增长。 Jev目前以早期访问形式开放,开发者可以在 typesafe.ai 加入候补名单。
话题来源 @dotey 61.6K阅读 ❤️251 x.com/…↗ 已改写,非原文转载
22 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单