SageMaker HyperPod 新增 SDC 检测

时间：2026 年 11 月 12 日 地点：Amazon SageMaker HyperPod / Amazon EKS 人物：AWS 机器学习团队 事件详情：AWS 在其机器学习博客发布技术文章，介绍如何在 Amazon SageMaker HyperPod 上检测和恢复静默数据损坏（Silent Data Corruption，SDC）。文章在 PyTorch DistributedDataParallel（DDP）训练循环中新增三项检查，用于检测 GPU 返回的错误数值、定位故障节点，并交由 HyperPod 自动恢复机制替换硬件。三项检查包括：非有限梯度检查，在 all-reduce 前标记 NaN 或 Inf 梯度；环形重放审计，在审计步骤上重新计算其他节点的微批次并逐位比较损失和梯度指纹；权重指纹比较，在优化器步骤后定期比较副本间的权重指纹。测试环境为 4 个 ml.p5.48xlarge 实例（32 块 NVIDIA H100 GPU），完整代码已开源至 github.com/awslabs/awsome-distributed-ai。 背景：静默数据损坏是 GPU 硬件故障的一种形式，硬件返回错误但看似合理的数值且不抛出异常。在分布式训练中，该错误值会流入所有副本的梯度和权重中，损失函数可能数小时保持正常，直到团队注意到无法解释的 divergence 或模型变弱时，计算资源已被浪费。Meta 在 Llama 3 405B 预训练（最高 16K H100 GPU，54 天）中，419 次意外作业中断里有 6 次归因于 SDC。SageMaker HyperPod 原有的健康监控代理、深度健康检查和自动节点恢复无法捕获 SDC，因为硬件本身不会报告任何错误。 影响：这项检测方案让训练作业本身具备发现静默损坏的能力，无需依赖硬件自我报告。团队可在故障扩散到所有副本前隔离问题节点，减少无效计算。方案要求集群至少 3 个 GPU 节点，因为环形审计和权重比较各需要 3 个副本做多数投票。检查点需存储在共享存储（Amazon FSx for Lustre 或 Amazon S3）上，因为节点替换会销毁本地卷。 总结：AWS 通过这篇技术文章，将静默数据损坏的防御边界从硬件层推进到训练框架层。三项检查分别覆盖前向或反向传播、计算路径和优化器或存储权重三个关键位置，形成完整的检测链条。对于在 HyperPod 上运行大规模分布式训练的用户，这是一套可直接落地的工程实践。 参考来源： AWS 机器学习博客 https://aws.amazon.com/cn/blogs/machine-learning/detecting-and-recovering-from-silent-data-corruption-on-amazon-sagemaker-hyperpod/ CoFabrix AI Pulse https://cofabrix.com/pulse/detecting-and-recovering-from-silent-data-corruption-on-amazon-sagemaker-0de8b2ac9907 OZZZER AI News https://ozzzer.com/ai-news/story/256581/ hiw3c 日报精选 https://hiw3c.com/article/9c1bee0b46b819cedee7a0e59925737d AI 导航 https://ai-tokens.cn/news/news-1d3861729eb9d0f2.html