你早就把答案递过去了、模型还要从头把它写一遍。这句吐槽被做成了 CDMs 受约束解码模型这一整套新架构,这做法我看完先记那三个专用件再掂快那半句。记的掂的点在下面一层层摆。摆好了看三个,个在下面摆着,摆好了自己比。
三个是这样摆的。第一个是分类件,你把标签定好、它回给你校准过的概率外加一条理由,路由、打标、意图识别都归它管。摆的第二个是抽取件。你用大白话说清楚要哪些实体。它回给你结构齐整的结构化数据、还带置信分和出处,爬取、文档处理、PDFs 和 PII 抹掉都用得上,摆的第三个是摘要件。
长文、图片。文档喂进去。它吐回一千枚令牌以内的一致摘要,上下文压缩、元数据生成。转写精简都接得住,摆的第四层在下面摆着,摆好了别眨眼。眨眼就翻过去了,过去一页少一页,少一页都是损失。损失不起的往下看。
省是这样算的。写出来的模型为写而生、而多数生产场景只要一个答案,又快又稳又便宜。专用件把输入读一遍就直接出结果。跳过了那套逐字往外蹦的循环。慢和贵的根源正在那套循环里,算的第五层是它挂出来的几组数字,数字是多模态输入一百万枚令牌、比 Jev 大三十一倍。
DecisionBench 拿七十七点二分、Jev 七十二分。比前沿接口快两百倍。便宜四百六十七倍,摆的第六层是那块价签。签是每百万枚输入令牌五分钱、输出免费,摘要也一样免费。摆的第七层在下面摆着,摆好了看那句铺货。货读完这篇就通了。
顺手补一笔给同行的,这类专用件的用法不是替换而是分流,把能拆的活拆出去、贵的模型只留在拆不动的地方。
铺货是这样铺的。几家主流网关和框架当天就挂了上去,新用户还有前五十小时的免费额度可领,铺的第八层是我的保留。保留是这则为官方发布。我按公告记账。几组数字我没复跑。以页面为准,记账的第九层是我的收尾,收尾在最后一段,最后一段到了就推门,门后是我的两句点评。
读完这篇正式结束。结束语不留悬念。悬念是给没看完的人的,看完的人不需要,不需要的直接收。收在下段,下段见,见了就懂,懂了就散,散会的礼数最后给。给完就收,收工,工收得干净,干净的收尾不带水。带水的都是没写完。
点评两句。第一句是把生成二字从负载里摘出去这步今年值得所有管推理成本的人记下来,记了的账才知道钱烧在哪儿。第二句是专用件比通用件快两百倍这半句今年会让一批在生产里硬扛大模型的人先按任务切一切,切完的回来点赞,句号。














