分散学習の停止時間を抑える:NVIDIA Recoveryによるワークロード自動復旧


ADVERTISEMENT

NVIDIA Recoveryが担う、クラスター横断の復旧レイヤー

NVIDIAは2026年11月2日、分散学習ジョブの障害検知から復旧までを自動化するオープンソースサービス「NVIDIA Recovery」を紹介した。NVIDIA DSX OSの一部として、クラスター全体のワークロードを対象に、障害の検知、原因の帰属、問題ノードの隔離、チェックポイントからの再開またはジョブ停止を調整する。ライセンスはApache 2.0である。

この機能が対象とするのは、ノード故障そのものではなく、障害後に「どのジョブを、どの資源で、どう復旧するか」というクラスター横断の調整問題だ。ノードの健全性監視・隔離、ジョブ内のハング検知や復旧、スケジューラーによる資源管理は、それぞれ別の層が担う。NVIDIA Recoveryはそれらの間にワークロード復旧層を設け、複数ジョブにまたがる判断と再起動をまとめる。

障害の兆候には、アプリケーションログ、GPUメトリクス、スケジューラー信号を用いる。検知対象は、PyTorchやNCCLの失敗、CUDAエラー、インターコネクト障害パターンに加え、進捗信号の欠落や通信ハング、直近のベースラインに対する持続的なスループット低下によるハング・ストラグラーの疑いを含む。これにより、単純なプロセス終了だけでなく、進行停止や性能劣化も復旧判断の入力にできる。

4段階の復旧ループとSlurm連携

復旧処理は、**Detect(検知)→ Attribute(原因帰属)→ Isolate(隔離)→ Restart or Stop(再起動または停止)**の4段階で構成される。

  1. 検知では、ログとスケジューラー信号からクラッシュ、ハング、ストラグラーを特定する。

  2. 原因帰属では、得られた信号をもとに障害を分類し、復旧方針を導く。任意のNVIDIA Attribution連携を使えば、ハードウェア、システムソフトウェア、アプリケーションの問題をより詳しく識別できる。独自の帰属サービスを組み込むことも可能だ。

  3. 隔離では、復旧に関与したノードを後続の再起動試行から除外する。再発するノードを試行間で追跡し、再試行が有効でない場合はワークロード停止を選ぶ。判断に時間がかかる、または失敗する場合に通常のスケジューリングを進めるウォッチドッグも備える。

  4. 再起動または停止では、スケジューラー連携がAdvisor APIを通じて指示を実行する。再起動後はアプリケーション既存の再開ロジックにより、最後に保存されたチェックポイントから復帰する。設定回数を超えて新しいチェックポイントを保存できない場合、追加の再試行を停止できる。

NVIDIA Recovery自体はコントロールプレーンのサービスとして動作し、HTTPまたはgRPC APIを介してスケジューラー側の連携コンポーネントと通信する。共通API契約により、スケジューラー固有の処理をクラスター側コントローラーに分離し、アプリケーションコードの変更を避ける設計だ。現時点で対応するのはSlurmで、Kubernetesネイティブの復旧はロードマップ上にある。

Slurm向けのリファレンスAdvisor ControllerはHelmチャートで導入できる。クラスター内でコントローラーを動かす方式と、SSH経由でリモートからSlurmへ接続する方式を選べるため、新たなクラスター内サービスの導入に変更審査やセキュリティレビューが必要な環境にも選択肢がある。Slurm on Kubernetesでは、Slinkyプロジェクトのslurm-operatorが対象となる。

監視モード、監査証跡、運用実績

新規導入は既定でmonitor modeから始まる。このモードでは、復旧サービスは推奨アクションを記録・提示するだけで、スケジューラーに対する操作は行わない。運用者はRecovery Consoleで判断の妥当性や誤検知の傾向を確認し、信号品質に納得した段階で、クラスター単位にaction modeへ移行できる。自律操作の有効化には、Helm valuesでmodeをactionにし、acknowledgeSchedulerActionsをtrueにする。

各判断は永続的かつ検索可能な監査証跡に記録される。記録項目は、検出パターン、実行アクション、タイムスタンプ、ワークロード識別子、および返された場合のNVIDIA Attribution判定など。ポリシーエンジンとウォッチドッグのアクションも同じ記録に含まれる。Recovery Consoleでは、スケジューラーをまたいだワークロード状態、異常フラグ、検知から復旧アクションまでの履歴を確認できる。

記事の本番観測では、ある学習クラスターを7月9日から10月9日まで監視し、1日あたり約200ジョブを対象に約8,550件の異常を検出した。平均検知レイテンシーは69秒、復旧アクションまでの平均レイテンシーは94秒だった。ただし、94秒は自動アクションの実行までの時間であり、スケジューリングやチェックポイント復元を経て学習が再開するまでの時間とは異なる。この区別は、復旧システムの性能評価において重要である。

記事は、大規模ジョブで障害の影響が増幅する例として、1万GPUの各GPUが1日を無障害で稼働する確率を99.9%と仮定した場合、ジョブ全体がその日に中断されない確率は0.999^10,000 ≈ 0.005%と示す。また、Metaの24,000基のA100を対象とした11か月の研究では、ハードウェア障害で中断したジョブは1%未満だった一方、それらのジョブがGPU稼働時間の19%を占めたと紹介されている。個々の障害頻度が低くても、大規模・長時間ジョブの計算資源消費と復旧コストは無視できない、という問題設定である。

導入は、Helmチャートのインストール、既存のLokiまたはVictoria LogsとPrometheusの信号検証、ジョブのオプトインという流れで進められる。ログ取り込み設定ツールは信号を所定の契約に照らして検証し、ラベル名の差異や設定不整合を検出する。ジョブ側ではsbatchスクリプトにNVIDIA Recoveryの環境とモードを指定するディレクティブを加える。ローカルのクイックスタートは、物理GPUや事前のデータベース調達なしで試せる構成も提供される。本番では管理対象MySQLサービスの利用が案内されている。

開発者・エンジニア視点での考察

  1. 「検知精度」だけでなく「復旧完了」までを計測する。
    記事の検知・復旧アクションのレイテンシーは、学習再開までの時間を示すものではない。運用評価では、異常発生から検知、判断、スケジューラー操作、資源再配置、チェックポイント復元、学習再開までを個別イベントとして記録し、復旧成功率や生産的な学習状態に戻るまでの時間を併せて追う必要がある。これにより、検知は速いが再配置や復元が遅い、といったボトルネックを分離できる。

  2. monitor modeを、実運用ログによるポリシー検証期間として使う。
    自動操作の前に、推奨アクションを人手による復旧判断と照合することで、検出パターンの適合度や誤検知時の影響を把握できる。特にストラグラーのようなベースライン依存の判定では、ワークロードごとの性能変動を踏まえ、監視期間中に誤検知率と見逃しの双方を評価したうえで段階的にaction modeへ移行するのが実務的だ。

  3. 再試行はチェックポイント品質とノード隔離の状態を含めて設計する。
    障害ジョブを同じ資源条件で繰り返し投入すると、問題ノードや保存失敗が原因のループに陥りうる。記事の設計は、問題ノードを再試行間で追跡し、チェックポイントを更新できない試行が続けば再試行を停止する。導入側では、再試行上限、ノード除外の伝播、停止後の調査・通知手順を明示し、復旧成功だけでなく無益な再試行によるGPU時間の消費も監査対象にするべきである。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT