atomic.chat
DSpark 给 LFM2.5-VL-3B 上了投机解码:drafter 提前多猜、目标模型单遍验证——三平台各报各的数(batch1、temp0、六类任务)。
三笔账分开算:一,MLX 上 M5 Max 解码 3.13×、端到端 2.62×;llama.cpp 上 M3 Ultra 2.14×/1.77×;SGLang 上 H100 2.66×/2.27×。
三个框架三台机器、不可跨着比:M5 看着比 H100 快,是框架的账、不是芯片的账。
二,端到端总低于解码倍数(2.62 低于 3.13)——开销吃一截,真实收益看端到端;三,greedy 下"输出完全一致"是机制:验证通过才收、质量守恒。
口径:①基准自测于 Pipette——未复现、以官方为准;②greedy、batch1、temp0 条件跟着引——换条件数字就换;③三平台不可直比硬件——跨框架只说明工程深浅。
用法三条:一,先看端到端:解码倍数是中间值,等它出活的时间才是钱;二,同框架同机对照——别拿 M5 的 MLX 数字套 H100 的 SGLang;三,按输出长度选:短输出损耗高、长输出吃倍数红利。
要准就挑验证严格的框架,要快就认端到端的账——两样都想要,先量再买。
话题来源 @atomic_chat_hq
5.3K阅读 ❤️45 x.com/…↗ 已改写,非原文转载
101 浏览 0 评论
0 反应













