Amazon SageMaker HyperPodの強化された可観測性:分散GPU学習の障害を原因層まで診断
分散学習の「遅い」を、GPU・ネットワーク・ホストの原因へ結び付ける
Amazon SageMaker HyperPodに、GPU学習の問題を診断するための強化された可観測性機能が追加された。対象はAmazon EKSまたはSlurmでオーケストレーションされる学習ワークロードで、診断・プロファイリング関連の情報を集約し、性能低下の検出だけでなく原因の切り分けを支援する。
大規模な分散学習では、単一の不健全なアクセラレータがジョブ全体を停滞させる可能性がある。スループット低下の兆候自体を見つけることよりも、GPUのクロック低下、ネットワーク経路の劣化、ホスト側のデータ処理停滞など、どの層に原因があるかを特定することが難しい。従来は個別のログやダッシュボードを照合する必要があり、メトリクスが劣化を示しても、その理由が直接分からないことが運用上の課題だった。
今回の機能は、異常検出と既知の障害パターンに対する静的ルールを組み合わせる。診断サマリーでは、CloudWatchのDetectGroupOutliers APIを使い、同一学習ジョブ内のGPUを比較する。比較対象は利用率、メモリ使用量、温度、電力、SMクロック周波数で、ピア群から大きく外れたGPUを外れ値として提示する。この相対比較により、単体の閾値監視だけでは見つけにくい「同じジョブの他GPUより遅いデバイス」を識別しやすくする。
静的診断ルールは、主に次のパターンを分類する。
- ハードウェア:GPUのECCメモリエラー、XID障害、アクセラレータ障害
- ネットワーク:EFAのスループット劣化、パケットドロップ、再送
- スロットリング:熱、ボード、信頼性上の制限によるGPUクロック低下
- 過熱:設定された上限を超えるGPU温度
検出された問題には、対象のジョブ、クラスター、ノード、アクセラレータ、ランクが関連付けられる。これにより、異常の種類だけでなく、分散ジョブ内のどこを調査すべきかを絞り込める。GPU比較による外れ値検出はEKSとSlurmの両方のジョブを対象とする。
メトリクス収集の二層構造と、保存先の選択
可観測性は、標準メトリクスとオプトインの高度なメトリクスに分かれる。標準メトリクスは自動で有効になり、クラスターの健全性、CPU・ディスク・OSレベルの使用状況、GPU利用率と温度、ジョブ単位のリソース利用状況を収集する。収集間隔は30秒で、記事ではCPUオーバーヘッドを約1〜2%、メモリ使用量を250〜300MBとしている。
高度なメトリクスは、より詳細な調査に必要な情報を追加する。
- Node exporterの全メトリクス:包括的なホストレベルの状態
- NVIDIA GPU DCGMおよびAWS Neuronの全メトリクス:クロック速度、電力、PCIe活動、エラー指標などのアクセラレータ情報
- EFAメトリクス:ネットワークインターフェイスのスループット、ドロップ、再送、エラー
高度な収集はメトリクス量を増やし、保存先のコストにも影響する。そのため、小規模なクラスターや短いジョブでは標準メトリクスだけで足りる場合がある一方、長時間稼働する大規模学習では、時間経過に伴う劣化やネットワークの異常傾向を捉えるために有効とされる。必要なメトリクスを段階的に有効化できる点は、診断能力とテレメトリ量・費用のバランスを取る設計となっている。
メトリクス保存先は、Amazon CloudWatchまたはAmazon Managed Service for Prometheusから選べる。CloudWatchは新しいデフォルトであり、SageMaker Insightsを通じてAWS Management Console内で可視化できる。記事によれば、CloudWatchはAmazon Managed Service for Prometheusより低価格で、SageMakerコンソールとの統合も強い。既存のPrometheusとGrafanaの運用標準を維持したいチームは、引き続きPrometheusを選択できる。
可視化画面では、クラスターのノード数、アクセラレータ数、稼働中・最近の学習ジョブ、GPU・vCPU・メモリの平均利用率を確認できる。CloudWatch SageMaker Insightsには、診断サマリー、デバイス単位の状態を扱うHardware、ジョブごとの利用状況を示すWorkload、EFAを中心にファブリックの状態を示すNetworkの各ビューがある。Amazon Managed Grafanaを使う場合は、クラスター、ノード、GPU、ネットワーク、ジョブを横断する事前構築済みダッシュボードを利用できる。
EKSアドオンとSlurm拡張機能による導入・運用
EKSクラスターでは可観測性をアドオンとして導入し、Slurmクラスターでは拡張機能として管理する。どちらもコンソールまたはAPIから導入・編集でき、権限管理にはIAMを利用する。EKSのCLI例では、メトリクス保存先をCloudWatchに設定し、ノードとアクセラレータの基本メトリクスを30秒間隔で有効化する一方、ホストプロファイリングは無効にしている。導入後はアドオンの状態がACTIVEであることを確認する。
EKSでは、アドオン設定を更新してメトリクスカテゴリやプロファイリング機能を後から変更できる。たとえばEFAの詳細調査が必要になった時点で、networkMetricsをADVANCEDに設定し、収集間隔を30秒に指定する構成が示されている。Slurmではクラスター詳細ページのExtensionsタブから拡張機能を編集でき、CLIでもクラスターメトリクス、ノード、アクセラレータ、ジョブ、ネットワークの収集レベルを個別に設定できる。EFAメトリクスを有効にする例では、ネットワークメトリクスをENABLEDにし、他カテゴリも収集レベルと30秒の間隔で指定する。
診断結果は、GPU外れ値や障害カテゴリの表示だけにとどまらない。Hardwareビューではデバイスの状態をActive、Idle、Unhealthyで捉え、アクセラレータ種別、チーム、利用率、温度、EFA使用状況、稼働ワークロードをデバイス単位で確認できる。Workloadビューは学習ジョブの状態や所要時間に加え、EFA、GPU、CPU、メモリの利用状況を示し、異常なネットワーク利用もフラグする。Networkビューでは、EFAのフリート平均利用率、劣化ノード数、再送数と、インスタンスタイプ別の健全・劣化ノードの内訳を確認できる。
この機能は、SageMaker HyperPodが提供されるすべてのAWSリージョンで利用可能とされる。導入時には、収集カテゴリ、メトリクス保存先、Grafanaワークスペースの利用形態を選択する。初めてAmazon Managed Grafanaを使う場合は、AWS IAM Identity Centerの設定とGrafanaユーザーの追加が必要となる。
開発者・エンジニア視点での考察
-
標準メトリクスを常時の基準線、高度なメトリクスを調査プロファイルとして扱う。 30秒間隔の標準収集はクラスターの通常状態を把握するベースラインとして有用である。一方、高度なメトリクスはデータ量と費用を増やすため、全環境で一律に有効化するのではなく、長時間・大規模ジョブや再現性の低い性能問題など、調査価値の高いワークロードに適用する運用が合理的である。
-
GPU異常をジョブ内の相対比較とハードウェア診断の両面から検証する。
DetectGroupOutliersによるピア比較は、同一ジョブ内での性能差の発見に向いている。外れ値を検出した後は、ECCやXID、温度、電力、SMクロックといった根拠を照合し、デバイス固有の障害なのか、熱・電力制限に伴うスロットリングなのかを切り分ける。これにより、ノード交換やジョブ再配置などの判断を、単なる利用率低下だけに依存せずに行いやすくなる。 -
ネットワーク・ジョブ・デバイスを同じ障害調査経路に組み込む。 分散学習の停滞をGPU問題と決めつけると、EFAの再送やスループット劣化、ホスト側の資源制約を見落としやすい。診断サマリーで対象ジョブとランクを特定し、Workloadでジョブ単位の利用状況を確認したうえで、NetworkとHardwareを追う手順を運用Runbookに定義すると、ログや別々のダッシュボードを横断する時間を減らせる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


