SageMaker HyperPod 检测并恢复分布式训练中的静默数据损坏
AWS 介绍如何在 SageMaker HyperPod 的 PyTorch DDP 训练循环中检测静默数据损坏,并通过节点隔离、检查点和替换完成恢复。三项检查分别覆盖 NaN/Inf 梯度、跨节点环形重放和更新后的权重指纹;方案已在 4 个 ml.p5.48xlarge 实例、32 张 NVIDIA H100 GPU 上测试,并提供配套 GitHub 仓库。
推荐理由:文章给出可复用的三项检查、故障定位和节点恢复流程,并用故障注入与性能数据说明检测边界和代价。