SageMaker HyperPodでNVIDIA Dynamoをマネージド運用—分散LLM推論の構成と実測性能


ADVERTISEMENT

統合の要点:推論グラフとインフラ運用を分離して管理

Amazon SageMaker HyperPod InferenceがNVIDIA Dynamoをサポートし、Dynamoの分散推論機能とHyperPodのクラスター運用機能を組み合わせた。対象となる課題は、モデル重みだけでGPUメモリを使い切る大規模モデルの配置と、プロンプト処理がトークン生成を遅らせる推論時の競合である。記事では、GLM-5.3のFP8重みが単一のml.p5.48xlargeのGPUメモリ640 GBを超え、KVキャッシュと実行時オーバーヘッドを含める前から単一インスタンスに収まらない例を挙げている。

Dynamoは、複数ノードへの展開、prefillとdecodeの分離、KVキャッシュを考慮したルーティングを提供するオープンソースの分散推論フレームワークである。推論エンジンとしてvLLM、SGLang、TensorRT-LLMを扱う。HyperPodはElastic Fabric Adapter(EFA)ネットワーク、GPUリソースの協調スケジューリング、ノードの健全性監視と復旧を担い、推論ワークロードを複数インスタンスに展開する際の運用基盤を提供する。

統合アドオンはDynamoのカスタムリソース定義と、デプロイ・スケジューリングに関わるコンポーネントを導入する。HyperPod Inference OperatorはInferenceEndpointConfig(IEC)を介してエンドポイントを管理し、dynamoSpecにDynamo設定を受け取る。Dynamo operatorはDynamoGraphDeployment(DGD)に基づき、フロントエンド、モデルワーカー、レプリカ数、必要リソースを管理する。Groveは複数ノードにまたがるワーカーなど、関連するPod群とそのスケーリング関係を調整する。Kubernetes AI(KAI)SchedulerはGPU上のPod配置を行い、マルチノードワーカーに必要なPodをgang schedulingでまとめてスケジュールする。

ランタイムにはAWS Deep Learning Containers(DLCs)が使われ、統合コンポーネントのバージョンはアドオンが管理する。サポートされるDynamoリリースを利用するには、アドオンを更新する。つまり、利用者が調整する推論グラフと、クラスターノードの健全性や配置を扱うインフラ運用を、別の責務として構成できる。

推論トポロジー:集約型とprefill・decode分離型

**集約型(aggregated)**では、同じワーカー内でprefillとdecodeを処理する。設定とリソース構成を比較的単純にできる一方、長い入力の処理とトークン生成が同じGPU資源を共有する。負荷の性質が異なる処理を同一プールに置くため、入力長や同時実行数によっては、プロンプト処理が生成性能に影響する可能性がある。

**分離型(disaggregated)**では、prefillワーカーがプロンプトを処理し、decodeワーカーがトークンを生成する。Dynamoフロントエンドがリクエストを各プールへ振り分け、prefillとdecodeのワーカー数を個別に調整できる。ただし、両方のプールがモデル全体の重みをロードし、KVキャッシュはEFA経由で転送する。このため、分離による負荷制御の利点と、モデル重みの配置およびKV転送のコストを合わせて評価する必要がある。

どちらのトポロジーでも、ワーカーは単一インスタンスで実行することも、テンソル並列化とパイプライン並列化を用いて複数インスタンスにまたがらせることもできる。DynamoのKV-aware routerは、再利用可能なprefix KVキャッシュとワーカーの稼働負荷を考慮する。前者はプロンプトの再計算を抑えてtime to first token(TTFT)の改善につながる可能性があり、後者は特定ワーカーへの負荷集中を避けるための判断材料となる。

デプロイ経路は二つある。既存のDynamo利用者向けの Bring-your-own DGD では、利用者が完全なDGDマニフェストを用意し、既存の推論グラフを再利用しやすい。その代わり、モデル重みのダウンロードまたはマウント、ストレージ、ネットワーク、Pod配置、エンドポイント関連リソース、オートスケーリングを自ら構成・管理する。HyperPod Inference利用者向けの IEC with dynamoSpec では、IECにDynamo設定を記述する。エンジンはvLLM、SGLang、TensorRT-LLMから選べ、既定値はvLLM。オペレーターがAmazon S3またはAmazon FSxからモデル重みをステージングし、エンドポイント、TLS、登録も管理する。集約型・分離型のいずれも、autoScalingSpecによるKubernetes Event-driven Autoscaling(KEDA)を利用できる。

構成例とベンチマーク:並列度だけでなくSLAを基準に選ぶ

記事のGLM-5.3構成例では、IEC経由でvLLMを使い、ml.p5.48xlargeにデプロイする。集約型の例はモデルワーカーレプリカを1つとし、nodesPerReplica: 2、tensorParallelism: 16で2インスタンス・16 GPUにまたがらせる。フロントエンドは2レプリカで、routingMode: kv-awareを指定する。ここではspec.replicasがモデルワーカー数、frontend.replicasがフロントエンド数を表す。

分離型ではprefillとdecodeのレプリカ数を別々に指定する。記事の例はprefillが1レプリカ、decodeが2レプリカで、それぞれ2ノード、テンソル並列度16。合計6インスタンスとなる。これは各プールの容量を独立に割り当てられる一方、構成全体のGPU使用量が増える場合があることも示している。デプロイ後、SageMakerエンドポイントが利用可能になりチャット補完向けに設定されれば、SageMaker Runtime APIを通じてOpenAI互換のリクエストを送信できる。

ベンチマークでは、まずQwen3-235B-A22B-FP8を対象に、DynamoとTensorRT-LLMを使った集約型・分離型を比較した。環境は2台のp5en.48xlarge、計16基のH200 GPU。リクエストは入力4,000トークン、出力200トークンである。比較対象は、P90 TTFTが1秒未満、かつユーザーあたりの生成速度の中央値が毎秒50トークン以上という条件を満たす測定点に限定された。その範囲で、分離型の最大スループットはGPUあたり毎秒207出力トークン、集約型は101出力トークンで、分離型が2.05倍となった。該当する同時実行数はそれぞれ80と32である。この結果は、指定されたモデル、ハードウェア、入力・出力長、SLA条件での比較であり、他のトラフィックや構成へそのまま一般化するものではない。

マルチノード集約型の評価では、Qwen3.5-397B-A17B-FP8をDynamoとvLLMで実行し、TP4 × PP2、稼働中のH200 GPU 8基を使用した。このモデルは単一インスタンスにも収まるため、評価では意図的にノードを分割し、比較用の基準としている。1台のp5en.48xlargeで8 GPUを使う場合と、2台に4 GPUずつ配置する場合を、モデル、並列度、ワークロードをそろえて比較した。prefix再利用が多いエージェント型ワークロード、同時実行数32では、2ノード構成はGPUあたり毎秒126.4出力トークンを達成し、単一ノードのスループットの99.1%を維持した。記事が示すのは、この評価条件でノード境界による大きなスループット低下が見られなかったことだ。マルチノード化そのものがあらゆる環境で無損失になるという意味ではなく、実運用ではEFAの利用状況や通信経路を検証する必要がある。

最適化の進め方:測定条件と通信経路を先に固定する

記事が推奨する出発点は、モデル、推論エンジン、GPU種別に対応するDynamoレシピの選択である。ワーカーのメモリ設計では、モデル重みに加えてKVキャッシュとランタイムの使用量を見込む。サポート対象の構成ではAISimulateを使い、実GPUで試験する前に集約型と分離型を比較し、並列度やprefill・decodeプールのサイズを検討できる。

複数インスタンスにまたがる構成では、ベンチマーク開始前に通信経路を確認する。特にprefillとdecode間のKVキャッシュ転送が、意図したEFAトランスポートを使っているかを検証する。通信が想定どおりでなければ、分離型やマルチノード型の結果をトポロジーの性能として正しく評価できない。

トラフィック評価にはAIPerfを使い、実際のプロンプト長、出力長、prefix再利用率を反映した入力を再生するか、代表的なエージェント型トレースを生成する。構成ごとに同時実行数を振り、SLAを満たす測定点だけを比較対象とする。最後に、コストとレイテンシの優先順位に基づいて構成を選ぶ。調整では、まずトポロジーとワーカー配分を変え、その後にエンジン設定を調整し、一度に一つの変数だけを変更する。候補構成は、最終的に対象のHyperPod環境上で検証する。

開発者・エンジニア視点での考察

  1. トポロジー選択は入力長・生成量・SLAに結び付けて行う。 分離型は記事のQwen3ベンチマークで高いスループットを示したが、prefillとdecodeの両方がモデル全体の重みをロードし、KV転送も必要とする。したがって、スループット比だけで判断せず、モデルのメモリ要件、入力・出力分布、TTFT、生成速度、必要なレプリカ数を同じ評価表に載せるべきである。

  2. KV-aware routingとprefix再利用率を、ワークロード特性として計測する。 prefix再利用が多い場合、キャッシュを考慮するルーティングがプロンプト再計算の抑制やTTFTに寄与し得る。逆に、prefix再利用の少ないトラフィックでは異なる負荷特性が現れるため、ベンチマークには実運用の再利用率を含める。集約型と分離型を比較するときも、同時実行数だけでなくprefixの分布をそろえる必要がある。

  3. 障害復旧とスケーリングを含めて運用設計を検証する。 HyperPodはノード、GPU、EFAの健全性を監視し、ノード交換を管理する一方、オーケストレーション側が影響を受けたワーカーを再作成する。開発チームはPodの配置やスケール設定だけでなく、複数ノードワーカーの再配置、モデル重みの準備、エンドポイント復旧までを一連の運用シナリオとして確認することで、ベンチマーク時の性能と障害時の可用性を分けて評価できる。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT