跳到正文
AWS Machine Learning Blog· Siddharth Senger·· 5 天前精选AI 评分69

SageMaker HyperPod 检测并恢复分布式训练中的静默数据损坏

Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

AI 导读

AWS 介绍如何在 SageMaker HyperPod 的 PyTorch DDP 训练循环中检测静默数据损坏,并通过节点隔离、检查点和替换完成恢复。三项检查分别覆盖 NaN/Inf 梯度、跨节点环形重放和更新后的权重指纹;方案已在 4 个 ml.p5.48xlarge 实例、32 张 NVIDIA H100 GPU 上测试,并提供配套 GitHub 仓库。

推荐理由

文章给出可复用的三项检查、故障定位和节点恢复流程,并用故障注入与性能数据说明检测边界和代价。

来源:AWS Machine Learning Blog · aws.amazon.com