Unsloth发DeepSeek量化版 512K基准登顶

时间：2026年11月2日 地点：美国旧金山（Unsloth 团队）与 Hugging Face 模型库 人物：Unsloth AI 团队（官方文档与 @UnslothAI 官方账号）；DeepSeek 官方权重提供方；ISTA-DASLab 的 GSQ-RCO 量化团队；Reddit r/LocalLLaMA 社区用户 danielhanchen 事件详情：11月2日，Unsloth 在官方文档新增 Dynamic V3.1 Update（November 2nd 2026）章节，发布基于 Dynamic V3.1 预览版算法的新一批 DeepSeek-V4.1-Flash-1017 GGUF 量化权重，并在同日通过官方推文公布 512K 上下文下的智能体基准结果：1 比特 Unsloth GGUF 在 DeepSWE 上得分 68.1、Terminal-Bench 72.2、AutomationBench 52.7，称整体排名最高、领先其他量化方案 10% 以上。配合这次发布，Unsloth 重做了评测方法：智能体类基准的上下文从 32K 拉到 512K、通用类提到 128K，评测消耗的词元从 1.3B 增加到 35.1B，约为原来的 27 倍，并新增 Terminal Bench 2.1、DeepSWE v1.1、Automation Bench v1.0.6 等尚未饱和的基准。 背景：DeepSeek-V4.1-Flash-1017 是 DeepSeek 于 10 月 17 日发布的开源模型，采用 552B 主干加 196B Engram 参数的结构，支持 1M 上下文。Unsloth 在 10 月 19 日上传该模型的 GGUF 量化权重，10 月 28 日至 29 日连续更新量化版本，10 月 30 日公布 Dynamic V3.1 预览算法的首轮基准。同一时段，ISTA-DASLab 发布基于同一模型的 GSQ-RCO 智能量化权重，宣称在 AIME25 上所有量化档位都能恢复 100% 的基线分数。llama.cpp 一侧，PR 31086 于 10 月 25 日合并，加入 deepseek41 架构、Engram n-gram 表转 BF16、DSpark 投机解码草稿模型与 mtmd 视觉支持。 影响：这轮更新把本地部署的门槛进一步量化。Unsloth 官方文档给出的体积是：无损版 UD-Q8_K_XL 为 508.4GB，近乎无损的 UD-Q4_K_XL 为 500.7GB，1 比特 UD-IQ1_M 为 250.4GB，可在 128GB 以上内存的机器上本地运行，64GB 内存也能跑但更慢。第三方分析给出的结论更克制：Unsloth 称在 35.1B 词元重跑中 UD3.1 领先 GSQ-RCO 约 10% 至 20%，同时承认 Terminal Bench 重跑时因自身基础设施无法通过而剔除了 89 项任务中的 7 项，且增加采样后 Aider Polyglot 成绩反而下降；Unsloth 自己的文档也提到量化会拉长思考长度，低比特档位需要预留更高的推理预算。对国内开发者而言，官方权重与社区量化之间的差距在长上下文和智能体任务上正在收窄，但选档仍要在体积与保真度之间取舍。 总结：这次更新的价值不只是一轮跑分登顶，而是评测方法本身被重做了一遍——上下文拉长到 512K、采样量放大 27 倍、新增未饱和的智能体基准，再把与 GSQ-RCO 的对比结果公开成可复现的表格。官方表格同时显示，无损参考 UD-Q8_K_XL 的六项基准平均分为 87.68，UD-Q2_K_XL 为 87.49，1 比特 UD-IQ1_M 为 85.55、UD-IQ1_S 为 83.53，说明能跑起来和跑得准仍是两件事。 常见问题： 问：DeepSeek V4.1-Flash 本地部署要什么配置？ 答：官方称 1 比特 UD-IQ1_M 为 250.4GB，需 128GB 以上内存，64GB 可跑但更慢；无损版 UD-Q8_K_XL 为 508.4GB。 问：量化版和官方差多少？ 答：官方表中无损参考 UD-Q8_K_XL 六项基准平均 87.68，UD-Q2_K_XL 87.49，UD-IQ1_M 85.55。 参考来源： Unsloth 官方文档：DeepSeek-V4.1-Flash 本地运行指南，含 Dynamic V3.1 Update（2026年11月2日） https://unsloth.ai/docs/models/deepseek-v4.1-flash Unsloth 官方中文文档：DeepSeek-V4.1-Flash 本地运行指南 https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.1-flash Unsloth AI 官方推文（2026年11月2日）：512K 上下文下的量化基准结果 https://x.com/UnslothAI/status/2117266365929365525 Hugging Face 模型仓库：unsloth/DeepSeek-V4.1-Flash-1017-GGUF https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF Hugging Face 提交历史：量化权重与文档更新记录（10月19日至11月2日） https://huggingface.co/api/models/unsloth/DeepSeek-V4.1-Flash-1017-GGUF/commits/main AI Primer 独立分析（2026年11月2日）：35.1B 词元重跑与评测方法四方面改动 https://www.ai-primer.com/engineer/stories/unsloth-long-context-quant-rerun ZGAI 收录 Reddit r/LocalLLaMA 发布帖（2026年10月30日）：Dynamic v3.1 GGUF 与评测方法公开 https://zgaiagent.cn/items/20089 RuntimeWire（2026年10月19日）：Unsloth 1 比特 GGUF 首发，250.4GB 与 128GB 内存门槛 https://runtimewire.com/zh/article/unsloth-deepseek-v4-1-flash-1017-local-gguf DeepSeek 官方发布说明（2026年10月17日）：DeepSeek-V4.1-Flash-1017 Release https://api-docs.deepseek.com/news/news261017 MindPattern（2026年10月25日）：llama.cpp 合并 deepseek41 架构与 DSpark 草稿模型支持 https://mindpattern.ai/f/31147