字节论文称DeepSeek有周期性弱点 实测未复现

时间：2026年11月3日（雷峰网发布针对 DeepSeek V4.1-Flash 的复现实测；被测论文由字节跳动 Seed 团队于 2026 年 9 月 28 日提交 arXiv） 地点：中国深圳（雷峰网）、美国（字节跳动 Seed 团队与 DeepSeek 官方 API） 人物：雷峰网作者李娜、编辑岑峰；论文第一作者 Xingyu Zhu、通讯作者 Yiyuan Ma，以及字节跳动 Seed 团队与普林斯顿大学、斯坦福大学、加州大学伯克利分校的研究者 事件详情：雷峰网 11 月 3 日刊文，用字节 Seed 论文中的 FP8 代码补全实验，通过 DeepSeek 官方 API 对现役 V4.1-Flash 做了两轮实测。固定采样的 64 组输入全部补全出正确答案 8，没有出现论文里正确答案与错误答案 32 之间的周期性翻转；但在 64 次概率测量中，8 始终是概率最高的候选，概率却随输入变化：文档字符串填充从 24 个 Token 增加到 25 个 Token 时，P(8) 从 83.33% 升到 92.29%，四种填充方式里奇数长度的平均概率比偶数高 3.6 至 5.8 个百分点；对同一组输入重复测量，概率最大相差约 5.35 个百分点；概率测试中有 6 次采样生成了错误答案 32，但模型当时仍认为 8 更可能出现。 背景：字节跳动 Seed 团队联合普林斯顿大学、斯坦福大学和加州大学伯克利分校的研究人员，在 9 月 28 日提交 arXiv 的论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》（arXiv:2609.36322）指出，DeepSeek V4 系列用分块 KV 缓存压缩降低长上下文推理的内存与注意力开销，代价是引入了相位这个新的位置坐标，也就是 Token 相对压缩窗口边界的位置，同一条信息落在不同相位，检索难度完全不同。论文实验中，DeepSeek-V4-Flash-Base 在 128K 上下文、约 1.6 万条键值记录的检索任务里，最好与最差位置分组的准确率相差 40.2 个百分点，DeepSeek-V4-Pro-Base 相差 34.8 个百分点，后训练后仍分别有 19.1 和 14.8 个百分点；最初的代码补全实验里，装饰用等号数量除以 4 余 0 或 1 时错误率高达 71.3%，余 2 或 3 时正确率 91.5%。团队在 Qwen3-0.6B 架构上从头训练对照模型排除了干扰因素：去掉 RoPE 位置编码、把可学习的压缩门控换成均匀平均，周期性波动依旧存在；压缩步长设为 4、6、8、12，波动周期随之改变；全注意力基线模型没有同类现象。 影响：DeepSeek 在 V4.1-Flash 里把部分压缩路径的步长从 4 降到 2，并引入 Causal Encoder-Decoder 架构，官方数据是 KV Cache 显存需求降到上一代的四分之一、持久化缓存存储需求降到八分之一；论文记录的最好与最差位置差距也从 40.2 个百分点经后训练缩小到 19.1 个百分点，再降到 V4.1-Flash 的 6.1 个百分点。对开发者而言，论文摘要里的结论更值得记住：平均分很高的模型可能同时存在系统性的位置失效，评测分块 KV 缓存压缩的模型必须跨压缩相位去测。雷峰网引用论文中 0.6B 对照实验指出，全注意力模型与分块压缩模型的平均检索准确率只差 1.7 个百分点，但最差位置分组分别是 58.4% 和 9.9%。编程智能体需要持续读取代码、日志和工具反馈，关键信息位置随任务推进不断变化，这类位置相关的波动在连续任务里比单次跑分更值得关注。 总结：这次实测既没有推翻字节的结论，也没有完全洗清 DeepSeek。雷峰网明确说明，测试对象是更新后的 V4.1-Flash，填充内容与接口波动的影响尚未完全排除，因此不能把概率变化直接归因于缓存压缩架构。真正确定的信息有两条：论文里多敲几个空格答案就翻转的现象，在 V4.1-Flash 上暂时没有重现，但概率层面的位置敏感性依然可以测到；做长上下文应用的团队，与其只跑一次基准，不如用不同填充长度反复问同一道题，同时记录最差位置分组的表现。 常见问题： 问：DeepSeek 的相位敏感性到底指什么？ 答：同一条信息在上下文里所处的位置不同、落入不同的压缩块，模型检索它的结果就不同。字节 Seed 的论文把这种位置相关的周期性性能波动称为相位敏感性。 问：现在用 DeepSeek 还会不会突然答错？ 答：雷峰网对 V4.1-Flash 的实测没有出现答案翻转，64 组固定采样全部答对，但预测概率仍随输入长度波动，所以不能理解为问题已经消失。 参考来源： 雷峰网实测：字节发现 DeepSeek 的周期性弱点，我们实测了 V4.1，结果不太一样 https://www.leiphone.com/category/yanxishe/46BrtW83OYjXUx0b.html arXiv 论文原文：Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression https://arxiv.org/abs/2609.36322 界面新闻：DeepSeek 抽风原因找到了，字节 Seed 团队论文揭示相位敏感性 https://www.jiemian.com/article/15170938.html InfoQ：字节 Seed 实习生曝 DeepSeek-V4 技术缺陷，长文本检索陷入周期性盲区 https://www.infoq.cn/article/C5pOKCHPDYgXuoap5a4P 字节跳动 Seed 官方论文页：Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression https://seed.bytedance.com/zh/public_papers/periodic-weak-spots-phase-sensitivity-from-chunked-kv-cache-compression