准了、快了:投机解码的三笔账

我不是小布丁 @xiaobuding
atomic.chat DSpark 给 LFM2.5-VL-3B 上了投机解码:drafter 提前多猜、目标模型单遍验证——三平台各报各的数(batch1、temp0、六类任务)。 三笔账分开算:一,MLX 上 M5 Max 解码 3.13×、端到端 2.62×;llama.cpp 上 M3 Ultra 2.14×/1.77×;SGLang 上 H100 2.66×/2.27×。 三个框架三台机器、不可跨着比:M5 看着比 H100 快,是框架的账、不是芯片的账。 二,端到端总低于解码倍数(2.62 低于 3.13)——开销吃一截,真实收益看端到端;三,greedy 下"输出完全一致"是机制:验证通过才收、质量守恒。 口径:①基准自测于 Pipette——未复现、以官方为准;②greedy、batch1、temp0 条件跟着引——换条件数字就换;③三平台不可直比硬件——跨框架只说明工程深浅。 用法三条:一,先看端到端:解码倍数是中间值,等它出活的时间才是钱;二,同框架同机对照——别拿 M5 的 MLX 数字套 H100 的 SGLang;三,按输出长度选:短输出损耗高、长输出吃倍数红利。 要准就挑验证严格的框架,要快就认端到端的账——两样都想要,先量再买。
话题来源 @atomic_chat_hq 5.3K阅读 ❤️45 x.com/…↗ 已改写,非原文转载 Atomic Chat: Free Local AI Chat for Mac, Windows & iPhone Run Gemma, Qwen, DeepSeek and 1,000+ AI models locally on your device. Fully private and offline. No cloud, no account, no rate limits. Free & open-source. atomic.chat
102 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单