DeepMind曝底层公式Bug Gemini修复

时间：2026年10月22日论文提交至 arXiv，10月23日至24日由首席研究科学家 Jonathan T. Barron 在 X 平台公布，10月24日有独立工程师在 PyTorch 中完成复现，10月25日至26日中文科技媒体密集报道 地点：Google DeepMind（论文作者机构）；arXiv 预印本平台（编号 2610.31642，cs.LG 机器学习类）；X 社交平台；全球深度学习框架使用者 人物：Jonathan T. Barron（Google DeepMind 首席研究科学家，论文第一作者）；Dan Gnanapragasam（Google DeepMind 研究工程师）；Michael Tschannen（Google DeepMind 研究科学家）；Satyajit Ghana（独立工程师，完成 PyTorch 全面复现）；Prieto 等人（2025 年识别出相关现象并提出 StableMax，但未直接修复）；William Kahan（1965 年在《ACM 通讯》提出补偿求和以对抗舍入误差） 事件详情：Google DeepMind 团队在 10 月 22 日向 arXiv 提交论文《A Fix for Softmax and Cross-Entropy》（arXiv:2610.31642），作者为 Jonathan T. Barron、Dan Gnanapragasam 与 Michael Tschannen。论文指出，Softmax、log-softmax 与交叉熵的标准实现存在两个数值计算缺陷。第一个是 Softmax Collapse（Softmax 坍缩）：所有主流框架为防止指数运算溢出，都会先从全部 logit 中减去最大值（max-shift 技巧），此时分母变成 1 加上一个极小数；由于浮点数在 1 附近的精度远低于 0 附近，这个极小数一旦小到加到 1.0 上会被直接舍去，分母被舍入为精确的 1.0，损失与正确类别的梯度随之被算成 0，而其他错误类别的梯度却仍保留微小非零值，导致全部类别的梯度之和不再等于 0，破坏交叉熵的平移不变性。论文把这一临界点称为精度悬崖（Precision Cliff），并给出不同浮点格式下的 logit margin 临界值：bfloat16 约 5.5，fp32 约 16.6，fp64 约 36.7。论文给出一个直观算例：三个 logit 为 9、-9、-9 且第一个为正确答案时，标准 JAX 与 Optax 实现算出的交叉熵损失为 0、正确类别梯度为 0；修复后损失约 3.046×10⁻⁸，正确类别梯度约 -3.046×10⁻⁸，另两个类别梯度各约 1.523×10⁻⁸。第二个缺陷是 Softmax Cancellation（Softmax 相消）：在知识蒸馏中，学生模型与教师模型的 logits 接近或完全相等时，标准实现分别计算概率再相减会丢失有效数字，留下非零的"幽灵梯度"，学生模型因此会偏离本应完全一致的老师。论文给出的修复方案分为两步：交叉熵不再把目标项留在指数求和内，而是用 log-sum-exp 直接算边距后返回负边距的 softplus，核心原则是"永远不要把一个极小的数加到 1 上"；蒸馏场景则在对数空间用 expm1 与 log1p 计算，使学生完美匹配老师时梯度是严格的绝对零。实验数据显示，在模加法任务（a + b mod 31）上，bfloat16 精度下标准代码的测试准确率只有 93.3% 且极不稳定，换用修复后代码准确率升至 100.0%；蒸馏测试中修复后学生与老师的散度保持为零、准确率维持 100%；修复还消除了此前被当作"顿悟"（grokking）高级特征来解释的"弹弓效应"（Slingshots）现象。论文同时给出 JAX 参考实现，并指出记忆完成后 logit 的增长受权重衰减与 Adam 的 epsilon 超参数之间的平衡所约束。最受关注的一点来自 Barron 在 X 平台的补充说明：据其转述，该 Bug 最初由 Gemini Flash 3.7 发现并修复，论文中大部分实验由 Flash 3.8 完成，Gemini 4 Argon 撰写了论文与图表初稿，Barron 本人负责挑刺与复核。10 月 24 日，独立工程师 Satyajit Ghana 在 PyTorch 中完成全面复现，在 CPU 上用打印出的实际数值复现了这两个 Bug、移植了修复程序，并证实了论文中 fp32 精度下的结果。 背景：这个问题之所以迟至今日才被公开，并非无人察觉，而是长期被误读。相关现象最早由 Prieto 等人于 2025 年识别出来，他们提出用 StableMax 替换 Softmax 中的指数函数来缓解，但并未给出直接修复。学术界更早就观察到训练过程中损失突然飙升、模型学到的能力退化的现象，并给它起了一个听起来像是好事的名字——"弹弓效应"（Slingshots），以为这是"顿悟"（grokking）过程的某种高级特征；这份论文等于把一个被当作特征来研究的现象，重新归因为浮点舍入错误。历史回溯还要更早：1965 年，多伦多大学的 William Kahan 教授就在《ACM 通讯》上发出警告，指出计算机累加大量数字时每次加法都会产生舍入误差，加一百万个数可能丢掉 6 位有效数字，他提出的补偿求和方案正是这一系列问题的源头级解法。而 DeepMind 这次的修复之所以能用十几行代码完成，关键在于他们选择保留 Softmax 与交叉熵的原始数学定义、只重组计算过程，无需提高浮点精度，也无需重新设计损失函数，因此对现有训练栈的迁移成本极低——论文中给出的是可直接替换的 JAX 参考实现，PyTorch 与 TensorFlow 社区可据此做等价移植。这一事件同时把一个更普遍的问题摆到台面上：当模型越自信、logit margin 越大时，训练信号被机器自己悄悄抹掉，而所有主流框架的教科书式标准实现都在犯同一个错。值得注意的是厂商与研究者角色的这次倒置——问题由 Google 内部的模型（Flash 3.7）先发现、由同厂模型（Flash 3.8）跑完大部分实验、再由旗舰模型（Gemini 4 Argon）起草论文，人类研究者负责审稿式的挑刺与排版，这在深度学习基础算子的修复史上极为罕见。 影响：这份论文的影响面覆盖几乎所有做深度学习训练的人，而不只是前沿模型开发者。首先是那些被当作模型"涌现能力"来解释的异常现象需要重新归因：损失曲线在顿悟过程中的剧烈震荡、模型在训练后期突然退化，此前在不少研究中被笼统归入"顿悟动力学"，现在被证明至少有一部分来源是浮点舍入导致的梯度信号消失，这意味着部分关于 grokking 的既有结论需要重新检视。其次是复现成本极低、影响面极大：修复只涉及 log-softmax、softmax 与交叉熵三处实现的重写，论文同时给出 JAX 参考实现和数值验证数据，PyTorch、TensorFlow 等主流框架可做等价移植，而不需要改动模型结构、不需要提高浮点精度、也不需要重新训练既有模型。第三，蒸馏场景的修复对当下所有以知识蒸馏压缩模型的小团队意义更直接：标准实现下学生模型会带着"幽灵梯度"偏离老师，修复后学生与老师完全一致时梯度严格为零，意味着蒸馏保真度的天花板被真实地抬高了一档。第四，这对"AI 参与科研"这条叙事线提供了一个具体注脚：这次的缺陷不是被 AI 在某个具体应用里偶然发现，而是在基础算子层面由模型完成定位与验证，人类仅承担了审稿角色，而这恰好呼应了同一时间点上另一条技术线索——递归自我改进（RSI）在 2026 年秋天被研究者认为跨过了理论红线。风险面同样需要提示：论文只覆盖 Softmax、log-softmax 与交叉熵这一组算子，业界大量自定义损失函数与混合精度训练管线中是否还存在同类的"极小数加到 1 上"式舍入陷阱尚未被系统排查；而一旦模型训练默认的浮点格式、精度悬崖位置与模型置信度分布发生变化，这个 Bug 的触发概率也会随之改变。 总结：Google DeepMind 用一篇 arXiv 论文《A Fix for Softmax and Cross-Entropy》指出，PyTorch、JAX、TensorFlow 以及各类教科书里沿用多年的 Softmax 与交叉熵标准实现同时存在两个数值缺陷——Softmax 坍缩会在 logit margin 越过精度悬崖（bf16 约 5.5、fp32 约 16.6、fp64 约 36.7）后把正确类别的梯度舍入为 0，Softmax 相消会在蒸馏中制造幽灵梯度；修复只需十几行改写即可，模加法任务的 bf16 测试准确率从 93.3% 回升至 100.0%，并消除了长期被误读为"顿悟特征"的弹弓效应，而据 Barron 转述，这一缺陷最初正是由 Gemini Flash 3.7 自行发现并修复、Flash 3.8 完成主要实验、Gemini 4 Argon 起草论文初稿，人类只做了事后复核。 参考来源： arXiv 论文原文 - A Fix for Softmax and Cross-Entropy（Barron、Gnanapragasam、Tschannen，2026年10月22日提交） https://arxiv.org/abs/2610.31642 arXiv HTML 全文版 - A Fix for Softmax and Cross-Entropy https://arxiv.org/html/2610.31642v1 机器之心（经新浪新闻转载） - PyTorch、JAX都被点名！Softmax曝出隐藏Bug，Gemini立功 https://k.sina.com.cn/article_5953190046_162d6789e06703vc7s.html 新智元（经新浪财经转载） - AI教科书全错！底层公式惊天Bug曝光，Gemini率先自我修复 https://finance.sina.com.cn/wm/2026-10-26/doc-iniwqarp9286809.shtml 新智元（经搜狐转载） - AI教科书全错，底层公式惊天Bug曝光，Gemini率先自我修复 https://www.sohu.com/a/1093003282_473283 AlphaSignal - A Dozen Lines of JAX Fix Softmax's Hidden Gradient-Killing Bug https://alphasignal.ai/news/a-dozen-lines-of-jax-fix-softmax-s-hidden-gradient-killing-bug AlphaXiv 论文中文解读页 - 修复 Softmax 与交叉熵 https://www.alphaxiv.org/zh/abs/2610.31642