NVIDIA GB200 NVL72におけるSlurmトポロジー認識型ジョブスケジューリングによるエクサスケール性能の解放
NVIDIA GB200 NVL72アーキテクチャの革新性
NVIDIA GB200 NVL72は、1兆パラメータを超える大規模AIモデルのトレーニング、ファインチューニング、リアルタイム推論を加速するために最適化されたラックスケールシステムです。この画期的なアーキテクチャは、36個のNVIDIA Grace ARMプロセッサと72個のNVIDIA Blackwell GPU（B200）で構成されており、NVIDIAの第5世代NVLinkテクノロジーによって相互接続されています。各GB200スーパーチップは、2つのB200 GPUと1つのGrace CPUを900 GB/sのNVLink-C2Cで結合しており、単一の液冷ラック内で72個のB200 GPU、36個のGrace CPU、そして13.4 TBの統合GPUメモリを実現しています。
このシステムは、ラック全体にNVLinkのコヒーレンスを拡張することで、1.44エクサフロップス（FP4、疎性あり）という驚異的なAI性能を発揮します。NVL72ラック内のすべてのGPUは、最大130 TB/sのオールツーオール帯域幅を持つ統合NVLinkファブリックを通じて相互接続され、システム全体が単一の巨大なGPUのように機能します。また、GB200 NVL72は、以前の世代と比較して、1兆パラメータのLLMで最大30倍の推論高速化、4倍のトレーニング高速化、最大25倍のエネルギー効率向上を提供します。ラックあたりの電力消費は120～132kWに達するため、高度な液冷システムが必須となります。
Slurmトポロジー認識型スケジューリングの重要性
NVIDIA GB200 NVL72のようなラックスケールAIシステムで最高の性能を引き出すためには、Slurmのようなジョブスケジューラがクラスタの物理ネットワークレイアウトに基づいてリソース割り当てを決定する「トポロジー認識型ジョブスケジューリング」が不可欠です。GB200 NVL72は、NVLinkのコヒーレンスをラック全体にわたって拡張するため、「ラックスケールでの局所性（locality）」が性能上の厳格な制約となります。ワークロードがNVLinkドメインの境界を越えると、性能が大幅に低下する「パフォーマンスクリフ」が発生します。
この課題に対処するため、Slurmワークロードマネージャは、特にGB200 NVL72のためにtopology/blockプラグインを導入しました。このプラグインは、NVLinkドメインをアトミックなブロックとしてモデル化し、管理者はtopology.yamlファイルを通じて物理的なトポロジーを定義できます。ユーザーは、ジョブ投入時に--segment引数を使用して、アプリケーション固有のNVLink要件を表現できます。これにより、スケジューラはワークロードを可能な限り同じNVLinkドメイン内に配置し、ジョブのフラグメンテーションを防ぎ、ラック内の高速通信を維持します。従来のtopology/treeプラグインは一般的な階層型ネットワーク向けでしたが、GB200 NVL72ではNVLinkドメインを厳密なスケジューリングブロックとして扱うtopology/blockが推奨されます。
パフォーマンス最適化と運用上の考慮事項
Slurmのトポロジー認識型スケジューリングをGB200 NVL72環境で適切に設定することは、AIワークロードのパフォーマンスを大幅に向上させます。例えば、トポロジー認識型スケジューリングを使用しない場合、ノードが2つの異なるGB200 NVL72システムにまたがるように分割されると、トークン/秒のスループットが10%以上低下する可能性があります。これは、NVLink（1.8 TB/sの双方向スループット）とInfiniBand（例：50 GB/s）間の帯域幅の大きな違いによるもので、クロストポロジー通信のオーバーヘッドが性能に直結するためです。
運用面では、クラスタ管理者はtopology.yamlを正確に設定し、NVLinkドメインをブロックとして定義する必要があります。また、Slurm 23.11で導入された--segment引数により、ユーザーはジョブがNVLinkコヒーレントなブロック内で確保すべきノード数（またはGPU数）を指定できます。GB200 NVL72システムでは、システムの柔軟性を確保しつつ、ラック内のノード障害に対応するために、--segment=16の使用が推奨されています。これは、Slurmのデフォルトである--segment=18よりも小さい値です。さらに、switch/nvidia_imexプラグインを導入することで、ドライバレベルでのワークロード分離と最適化を強化できます。これらの設定を適切に行うことで、大規模AI/HPCワークロードにおいて、プロトタイプから本番環境レベルのラックスケールオーケストレーションへの移行が可能となります。
開発者・エンジニア視点での考察
-
NVLinkコヒーレンスの厳格な管理の必要性: NVIDIA GB200 NVL72は、ラック全体にわたるNVLinkコヒーレントメモリドメインを提供し、これを「ハードな制約」として扱う必要があります。開発者は、自身のAIワークロードがNVLinkドメインの境界を越えることによるパフォーマンスの急激な低下を避けるため、Slurmの
topology/blockプラグインと--segmentオプションを深く理解し、ジョブスクリプトで適切なアロケーションを要求することが不可欠です。特に、--segment=16などの適切なセグメントサイズを設定することで、ラック内のノード障害に対する柔軟性を保ちつつ、最大のパフォーマンスを確保できます。 -
既存HPC/AIクラスタのSlurm設定の再評価と移行パス: 従来のHPC環境で広く使われてきたSlurmの
topology/treeプラグインは、ネットワークを階層的なツリー構造として最適化するものでした。しかし、GB200 NVL72のようなラックスケールNVLinkコヒーレントシステムでは、このアプローチではジョブの断片化が起こり、性能が著しく低下します。AI開発者およびクラスタ管理者は、既存のSlurm設定をtopology/blockプラグインへ移行し、topology.yamlによるNVLinkドメイン定義と--segmentの活用が必須となります。この移行は、旧来のベストエフォート型スケジューリングから、ハードウェアトポロジーに厳密に最適化されたスケジューリングへのパラダイムシフトを意味します。 -
大規模AIモデルトレーニングにおけるスループット最大化戦略: GB200 NVL72システムにおけるトポロジー認識型スケジューリングは、非アライメントなジョブと比較して、10%以上のスループット向上を実現できることが示されています。これは、大規模なLLMトレーニングや推論において、GPU間通信がボトルネックとなるシナリオで特に重要です。開発者は、単にGPU数を増やすだけでなく、Slurmの
--segmentやswitch/nvidia_imexプラグインを活用して、ジョブが最適なNVLinkドメインに配置されるようにスクリプトを最適化する必要があります。これにより、計算リソースを最大限に活用し、トレーニング時間の短縮とTCO（総所有コスト）の削減に貢献します。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
