腾讯开源DSpine 推测解码加速Qwen3.8-27B

时间：2026年11月7日（腾讯在 Hugging Face 上线这份权重的时间戳是 UTC 14:20，折合北京时间当天 22:20，模型卡在当日 23:40 完成最后更新；沙丘的技术追踪页把来源日期标为 2026.11.07） 地点：中国深圳；发布渠道是 Hugging Face 模型库的 tencent 组织页，以及 GitHub 上的 Tencent/DSpine 仓库 人物：腾讯（Tencent）开源团队，权重以 tencent 组织名义上传；同一张模型卡里作为对比基线的是官方 DFlash2 草稿模型（z-lab 维护）。方法论文以项目名义发布，模型卡未列出个人署名。 事件详情：腾讯在 Hugging Face 放出面向 Qwen3.8-27B 的推测解码草稿模型 Qwen3.8-27B-DSpine-b16。这是一份五层草稿检查点，块大小 16，滑动窗口 8192 token，参数约 20.26 亿，BF16 权重，按 Apache 2.0 发布，同时提供 Tencent/DSpine 仓库和 SGLang 启动命令（推理侧使用 DSPINE 投机算法，草稿 token 数设为 16）。模型卡标注的评测条件是 SGLang 0.5.22、BF16、FlashAttention 3、并发 8，DSpine 一次草稿 16 个 token，基线 DFlash2 一次草稿 8 个。通用基准的接受长度（temperature 0）逐项高于 DFlash2：GSM8K 从 5.69 到 7.20，MATH-500 从 5.49 到 6.49，HumanEval 从 4.87 到 5.71，MBPP 从 5.04 到 6.14，MT-Bench 从 4.11 到 4.48。Agent 基准上，xhigh 推理档的端到端吞吐为自回归解码的 2.87 至 3.55 倍，low 推理档为 2.71 至 3.84 倍，五个基准平均 3.16 倍；模型卡里 DFlash2 的对应区间是 low 档 2.33 至 3.17 倍、xhigh 档 2.56 至 3.08 倍。 背景：推测解码的做法是让一个更小的草稿模型先并行猜出若干候选 token，再由目标大模型一次性验证，猜中的部分整体采纳，从而减少逐 token 生成的等待。DSpine 对应的方法论文是《Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding》，9 月 28 日提交 arXiv，提出在主干网络每一层都做门控相邻注入，把前一个位置的预测特征写进其后继位置，因果条件链随网络深度展开，而所有位置仍然并行更新。论文在 Qwen3-4B 和 Qwen3-8B 上、两种温度下都拿到最长接受长度；在 Qwen3-8B 的 temperature 0 上，七个基准均值从 DFlash 的 3.77 提升到 4.82，增幅 27.8%，SGLang 服务测试里平均吞吐比 DFlash 高 23.3%。这不是腾讯第一次做这件事，面向 Qwen3-8B 的 DSpine 权重早在 10 月 16 日就已上架 Hugging Face，这次是把同一方法落到 27B 规格。需要说清的是，草稿器必须配合对应的主模型和运行时，它本身不是可以独立对话的模型。 影响：给把 Qwen3.8-27B 部署成在线服务的团队，这份权重提供了一条现成的加速路径。Qwen3.8-27B 的结构也决定了这条路径的成本：模型配置里 full_attention_interval 为 4，即每四层里有三层是线性注意力，而线性注意力的循环状态在草稿 token 被拒绝时必须回放，所以官方推荐命令里专门打开了线性重放投机、mamba 缓存策略和缓存上限等设置。沙丘的研读同时提醒，这些收益是特定运行配置下的团队测量，不能直接等同于其他硬件或并发水平。Tech Thought Leaders 的分析还援引 Artificial Analysis 的测量称，基座模型 Qwen3.8-27B 在其评测中输出速度约为每秒 41 个 token，草稿模型的价值在这种速度偏慢的场景更明显。 总结：腾讯把 DSpine 这套并行草稿方法从 8B 规格推到 27B 规格，并放出可下载的权重、配套仓库和 SGLang 启动命令。方法本身出自 9 月的论文，本次交付是同一套技术在更大模型上的落地，接受长度和吞吐提升都在模型卡里逐项列出、可以复核。它不能脱离主模型单独使用，收益也取决于 SGLang 版本、注意力后端和并发设置，属于典型的部署侧调优收益。 常见问题： 问：DSpine 能单独当聊天模型用吗？ 答：不能。草稿器须配合对应主模型和运行时，它只负责提前猜候选 token。 问：DSpine 给 Qwen3.8-27B 加速多少？ 答：low 推理档端到端吞吐是自回归解码的 2.71 至 3.84 倍，五项基准平均 3.16 倍。 参考来源： 腾讯官方模型卡：Qwen3.8-27B-DSpine-b16（含评测表与 SGLang 启动命令） https://huggingface.co/tencent/Qwen3.8-27B-DSpine-b16 腾讯开源仓库：Tencent/DSpine（安装说明与推理参数） https://github.com/Tencent/DSpine DSpine 方法论文：Draft in Parallel, Condition Through Depth（arXiv 2609.36173，2026 年 9 月 28 日提交） https://arxiv.org/abs/2609.36173 DSpine 项目主页（架构图与方法说明） https://dspine-project.github.io 沙丘社区技术追踪：DSpine 开放 Qwen3.8-27B 专用草稿权重（来源日期 2026.11.07） https://www.shaqiu.cn/tracking/model%3Atencent%3Aqwen38-27b-dspine-b16%3Aweights%3A20261107 Tech Thought Leaders：腾讯 DSpine 推测解码吞吐分析（混合注意力架构与状态回放） https://techthoughtleaders.io/tencent-dspine-speculative-decoding-qwen3-8-27b-throughput/