huggingface.co/collections/or…
有条推理加速发布值得拆:DFlash 草稿模型上线 Ornith-1.5 全系三档(9B、35B-A3B、397B)——机制是推测解码的经典打法:DFlash 一次起草多个 token,Ornith 1.5 一遍验证代替逐 token 生成;官方评测给到最高 2.54 倍提速,且生成质量无损。
两层一,接 62142 位宽压缩那条 = 效率线的两把刀:那条把模型"变瘦"(164MB 下场),这条把生成"变快"(draft-verify 流水线)——两者都不动聪明程度,只动聪明的运行方式;本地跑大模型的账,就是被这两类技术一页页改写的。
二,"起草—验证"分工有个值得记的隐喻:快不是靠猜得更野,是靠敢猜之后还有一次兜底校验——凡是能"先出草稿再一遍过"的流程,都能照这个思路提速,写代码、审合同、出报告皆同理。
口径:①机制与 2.54× 数据其官方帖表述(我没自测跑分);②L1 为 HF 模型集合页可查;③"两把刀/隐喻"是我的引申;④三档模型的实际表现以其页面为准。
要用的两条:一,本地部署的——先看有没有 draft 模型可用,推测解码是免费的午餐里最实惠的一道;二,做流程的——找你链路里"逐条生成再逐条审"的环节,试试草稿加一遍校验的结构。
推理提速的两页账(变瘦、变快)都在改写本地化的算术——下一次部署先动哪一页,这个问题值得先算清。
话题来源 @ornith_
24.1K阅读 ❤️402 x.com/…↗ 已改写,非原文转载
144 浏览 0 评论
0 反应














