SageMaker HyperPod、学習の正当性検証とハング復旧でクラスタの有効稼働率を高める


ADVERTISEMENT

ノードの健全性から、学習の正当性と進捗へ

Amazon SageMaker HyperPodに、学習ワークロードの失敗を早期に検出し、原因特定と復旧を支援する3つの機能が加わった。狙いは、クラスタ稼働時間のうち実際に有用な学習へ使われる割合である「goodput」の改善だ。従来のヘルスチェックが主に個々のノードのハードウェアを検証するのに対し、新機能はGPU計算の正当性、ジョブの進捗、Kubernetes層の状態まで対象を広げる。

従来のヘルスモニタリングエージェント(HMA)は、GPUのXidやNVLinkの障害、Elastic Fabric Adapter(EFA)やカーネルのエラーを監視する。InstanceStressはDCGM level 4診断などを実行し、InstanceConnectivityはGPUインスタンス間のNCCL通信を検証する。しかし、ハードウェア診断を通過したGPUが誤った値を返すことや、NCCLタイムアウトなどでジョブが停止したままSlurm上では実行中と表示されること、Kubernetesのデバイスプラグインがクラッシュループするといった問題は、これらの検査だけでは捉えにくい。

追加された機能は、それぞれ異なる障害面をカバーする。

  • MultiNodeTrainingValidation:EKS管理クラスタで、既知の固定ワークロードを各インスタンス上、および同一インスタンスタイプの複数インスタンス間で実行する。損失がNaNまたは無限大になる場合、あるいは制限時間内に学習が完了しない場合にインスタンスを失敗扱いにする。
  • HyperPod Kubernetes Resource Monitoring Agent:ノード、重要なPod、DaemonSet、学習ジョブを継続的に監視し、障害時に影響を受けたPodやノードをKubernetesイベントとCloudWatchログに記録する。
  • Hung job detection:Slurmジョブの出力やGPU活動、またはユーザー定義のログパターンを監視し、進捗が止まったジョブを検出する。CloudWatchにイベントを記録し、設定に応じてジョブをキャンセルしてSlurmに再キューイングさせる。

参照ワークロードでGPUの計算品質を検証

MultiNodeTrainingValidationは、深層ヘルスチェックに2種類のMegatron-LMテストを追加する。Tiny Megatronは各インスタンスの全GPUで短時間の学習を行い、Megatronは同一タイプのインスタンス間でEFAを使って実行する。両テストとも、NaN・無限大の損失、または時間内に完了しない学習を検出する。モデルやコード変更に起因する不具合ではなく、ハードウェア側の問題を切り分けやすいよう、ワークロードは固定されている。

この機能の対象は、EKSでオーケストレーションされたHyperPodクラスタのうち、サポート対象のEFA対応NVIDIA GPUインスタンスタイプである。記事ではml.p5.48xlargeを例に挙げている。インスタンス作成・更新時に実行する場合は、インスタンスグループ設定のOnStartDeepHealthChecksにMultiNodeTrainingValidationを加える。既存インスタンスを検査する場合はStartClusterHealthCheck APIを使い、必要ならInstanceIdsで対象を絞れる。

検査結果はCloudWatchロググループ/aws/sagemaker/Clusters/<cluster-name>/<cluster-id>のDeepHealthCheckResults/<id>ログストリームに出力され、各インスタンスには結果を示すノードラベルが付く。インスタンス上の/var/log/aws/clusters/sagemaker-deep-health-check.logでは、学習の詳細も確認できる。記事の2台構成の実行例では、300イテレーションで損失が11.57から3.62へ低下し、NaNやスキップされたイテレーションはなかった。16基のH100 GPUで、イテレーションあたり約507ミリ秒だった。

導入時に考慮すべきなのは、検査による起動待ち時間である。記事の2ノード環境では、ライフサイクルスクリプト完了後、深層ヘルスチェック全体に1時間28分を要し、その大半はDCGM level 4診断だった。MultiNodeTrainingValidationの2テストが追加した時間は約8分である。インスタンスはチェック完了までワークロードを受け付けないため、キャパシティ追加時のスケジュールに含める必要がある。なお、検査合格は参照ワークロードを正しく実行できたことを意味するもので、独自ジョブの収束を保証するものではない。

クラスタ障害の可視化とSlurmのハングジョブ回収

HyperPod Kubernetes Resource Monitoring Agentは、aws-hyperpod名前空間でクラスタごとに単一のPodとして動作し、GPUリソースを消費しないようCPUノードを優先する。ノードのNotReadyやメモリ・ディスク・PID圧迫、割り当て可能なGPUやEFAデバイス数の減少、NVIDIA capabilityラベルの消失、taintの追加・変更・削除などを監視する。また、kube-system、aws-hyperpod、kubeflowのDaemonSet Podや学習オペレーターのコントローラーを対象に、クラッシュループ、再起動、コンテナエラー、NotReadyの継続を追跡する。

ジョブについてはHyperPodPyTorchJob、Kubeflow PyTorchJob v1、Kubeflow TrainJob v2を監視し、失敗時に理由と関連Pod・ノードを記録する。NCCL 2.24以降を学習コンテナで使用し、ジョブ側でオプトインすれば、NCCLのRAS(reliability, availability, and serviceability)サブシステムから通信状態も取得できる。障害は対象リソースのKubernetesイベントとして記録され、Warningは問題、Normalは復旧を示す。CloudWatchには構造化JSONログも保存され、イベントの保持期限後も履歴を追える。

このエージェントは診断と報告を担い、ノードの再起動やジョブの再起動は行わない。ハードウェア障害はHMAとHyperPodのノードリカバリ、ジョブ再起動はHyperPod training operatorなど、それぞれ既存の責務に委ねる設計だ。導入時は、既存のHyperPod Helm chartを使うクラスタでは、まずCRDを適用してから監視エージェントを有効化する必要がある。さらに、必須DaemonSetや学習ジョブの名前空間を設定する際、各リストはデフォルト値を置き換えるため、既定の項目を保持したうえで追加する点が重要である。

Hung job detectionはSlurmクラスタ向けの新機能で、ジョブが終了せず進捗だけを失った状態を検出する。記事の試算では、32台のml.p5.48xlarge(NVIDIA H100 GPU 256基)で動く事前学習ジョブが午前1時にハングし、午前9時まで発見されなければ、2,048 GPU時間、または256インスタンス時間を消費する。米国東部(北バージニア)のオンデマンド価格を約66ドル/インスタンス時間とした場合、損失は約16,900ドルに達する。15分の検出ルールで停止ジョブをキャンセルし、Slurmに再キューイングさせれば、試算上の損失は約530ドルとなり、約16,400ドルを節約できる。

開発者・エンジニア視点での考察

  1. 検査時間をキャパシティ計画の一部として扱う。 MultiNodeTrainingValidation単体の追加時間は記事の例で約8分だが、深層チェック全体では1時間28分かかり、その大部分はDCGM診断だった。新規・交換インスタンスを投入する頻度と、事前学習開始の締切を照らし合わせ、検証による待機時間を運用計画に明示するのがよい。長時間実行の前にオンデマンド検査を行う運用も選択肢となる。

  2. 診断イベントをジョブの再実行手順へ接続する。 Kubernetes Resource Monitoring Agentは原因候補と影響範囲を示すが、自動でノードやジョブを復旧するものではない。イベントのreason、Pod・ノードの識別子、CloudWatchログを、障害対応手順や再実行の判断材料に組み込むことで、診断から復旧までの手作業を減らせる。特にtaintによる退避やデバイスプラグイン障害では、ハードウェア故障とワークロード起因の問題を区別する設計が必要だ。

  3. ハング検出の閾値を、学習の通常変動に合わせて検証する。 検出ルールはユーザー定義のログパターンなどを利用でき、検出後にジョブをキャンセルして再キューイングできる。一方、データ入力の遅延や一時的なGPU活動低下をハングと誤判定すれば、不要なキャンセルが発生する。まず実ジョブの出力・GPU活動を観測し、検知条件とキャンセル動作を段階的に検証してから自動回収を有効化するのが安全である。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT