SageMaker InferenceがMIGによるGPU分割に対応、モデル配置と推論コストを細粒度化


ADVERTISEMENT

MIG対応の要点:GPUをハードウェア分離された複数の実行単位へ

Amazon SageMaker Inferenceは、NVIDIA Multi-Instance GPU(MIG)を使ったGPUパーティショニングに対応した。従来、GPUエンドポイントで要求できる最小単位はアクセラレータ1基だったため、モデルがGPUメモリの一部しか使わない場合でも、インスタンス上のGPUを丸ごと割り当てる必要があった。たとえばA100を8基搭載するml.p4d.24xlargeでは、各モデルにGPUを1基ずつ割り当てると、モデルごとの必要量にかかわらず配置できるのは最大8モデルとなる。

MIGは物理GPUを複数の独立パーティションに分割し、それぞれに計算資源、メモリ、メモリ帯域を割り当てる。分離はソフトウェア上の時間共有ではなくハードウェアで強制されるため、別モデルの負荷変動が自モデルのGPUメモリ帯域や推論レイテンシに及ぼす影響を抑えられる。GPUごとに最大7分割できる場合があり、パーティション数と利用可能な構成はアクセラレータに依存する。

この機能は、複数モデルを1つのエンドポイントに配置するためのInference Componentsを利用するリアルタイムエンドポイント向けだ。各コンポーネントがパーティションを要求し、SageMakerがGPU構成、配置、スケーリングを管理する。単一モデルエンドポイント、Serverlessエンドポイント、異種インスタンスプールは対象外で、非同期推論もInference Componentを指定できないため対象外となる。

ハードウェア分離により、パーティションごとの予測可能なレイテンシ、障害の影響範囲の限定、モデルの常時ロードによるコールドスタートや退避の回避が期待できる。一方、これはGPUの分離であり、同じインスタンス上のCPU、システムメモリ、ストレージ、ネットワーク、エンドポイントのルーティングまで分離するものではない。したがって、テナント分離を設計する際はGPU外の共有資源も含めて評価する必要がある。

APIと対応プロファイル:エンドポイント作成時にレイアウトを確定

機能追加に伴い、既存APIに任意フィールドが2つ加わった。新しいAPI操作、リソース種別、IAMアクションは不要で、両フィールドを省略した場合の挙動は従来どおりである。

  • AcceleratorPartitionLayoutsはCreateEndpointConfigの本番バリアントに指定し、アクセラレータごとの分割構成を宣言する。
  • AcceleratorPartitionTypeはInference Componentの計算要件に指定し、そのコンポーネントが使用するパーティション種別を選ぶ。

たとえばA100では、mig-4g.20gb、mig-2g.10gb、mig-1g.5gbを組み合わせるレイアウトが可能だ。A100の7計算スライスを使い切るこの構成では、ml.p4d.24xlarge上の8基のA100それぞれに3パーティションが作られ、エンドポイント全体で各種8個、合計24個のパーティションを利用できる。レイアウトは各アクセラレータに一様に適用され、GPUごとの個別指定ではない。コンポーネントのCopyCountを増やすと、要求した種別の空きパーティションにコピーを配置できる。

対応ファミリーと代表的なプロファイルは次のとおり。

インスタンスファミリーGPUGPUメモリ最大パーティション数プロファイル例
P4dNVIDIA A10040 GB7mig-1g.5gb、mig-2g.10gb、mig-3g.20gb、mig-4g.20gb、mig-7g.40gb
P5NVIDIA H10080 GB7mig-1g.10gb、mig-2g.20gb、mig-3g.40gb、mig-4g.40gb、mig-7g.80gb
G7NVIDIA RTX PRO 4500 Blackwell32 GB2mig-1g.16gb、mig-2g.32gb
G7eNVIDIA RTX PRO 6000 Blackwell Server Edition96 GB4mig-1g.24gb、mig-2g.48gb、mig-4g.96gb

プロファイル名の数字は計算スライス数とGPUメモリ容量を示す。ただし、計算資源とメモリの分割比は常に一致するわけではない。A100とH100は計算を7分割、メモリを8分割する構成で、たとえばmig-3g.20gbは計算スライス3つ、メモリ単位4つを使う。このため、プロファイルの合計が各デバイスの計算・メモリ上限を超えないこと、かつGPUが提供するプロファイルであることが必要だ。条件を満たさない構成はエンドポイント設定時に拒否され、全GPUへのフォールバックはない。

P4dでmig-1g.10gbを使う場合は、NVIDIAドライバーR525以降が必要となる。既定イメージのドライバーは470.256.02であり、このプロファイルを指定しても失敗の原因がプロファイル名として明示されないことがある。記事では、本番バリアントのInferenceAmiVersionにal2023-ami-sagemaker-inference-gpu-4-1を指定し、ドライバー580系を利用する方法が示されている。

パーティション構成はエンドポイントのプロビジョニング時に適用され、アクセラレータの切り分けに約17秒を要した。レイアウト変更は稼働中のエンドポイントで既存ホストを再分割する操作ではない。コンポーネントのパーティション種別もそのコンポーネントの存続期間中は固定で、別プロファイルに移すには新しいコンポーネントが必要となる。エンドポイントのレイアウトを変える場合は、新しいエンドポイントを作成してトラフィックを移行する設計が必要だ。

ワークロード適合性とベンチマーク:性能向上と費用削減は条件付き

パーティション選択では、推論の計算特性とメモリ特性を分けて見積もる必要がある。入力プロンプトを処理して表現を作るprefillは計算負荷が大きく、入力長や同時到着数、パーティションのストリーミングマルチプロセッサ数に影響される。一方、出力を逐次生成するdecodeは各ステップでモデル重みを読み直すため、メモリ帯域の影響が大きい。GPUメモリ容量はKVキャッシュにも上限を設け、提供可能なコンテキスト長と同時系列数を制約する。

メモリ見積もりはモデル重みだけでは不十分だ。記事の例では、FP16の8Bモデルの重みは約16 GBで、これにコンテキスト長と同時系列数に応じたKVキャッシュ、CUDAコンテキストやサービングプロセスの実行時オーバーヘッド約1~2 GBが加わる。同じ8Bモデルは40 GBパーティションで8,000トークンのコンテキストを余裕をもって処理できるとされる。重みが収まることだけを根拠に選ぶと、高負荷時にロード後の実行が失敗したり、設定したコンテキスト長を提供できなくなったりする可能性がある。

性能比較では、H100のmig-3g.40gbパーティションと、分割していないA100-40GBを比較した。両者はGPUメモリ容量が近く、H100の一部を利用する選択肢を旧世代GPU全体と比較する構成である。両エンドポイントは本番SageMakerリアルタイム推論で、同じモデルレプリカ数、コンテナイメージ、トークナイザー、クライアント設定を使用し、同じクライアントから負荷を送った。負荷生成にはgenai-benchを使い、短い入力から長文要約まで5種類の入出力トークン構成を、同時実行数2~512の範囲で評価した。モデルは記事中でLlama-3.1-8B-Instructと記載されている。

報告された結果は次のとおり。

  • コストメリットが最大となる負荷点では、H100パーティションの出力トークン毎秒が全シナリオで53~89%高く、トークン間レイテンシも8.9~42.1%低かった。負荷が高いほど差が拡大した。
  • Time to First Tokenは全ケースで5.6~47.5%低かった。
  • 100トークン入力では同時実行数64、8,000トークン入力では同時実行数4を損益分岐点として、それを超える負荷では出力100万トークン当たりの費用が18~34%低かった。損益分岐点より低い負荷では、A100全体のほうが安価だった。
  • 長文入力の高同時実行負荷では、A100が6,000および8,000トークンのシナリオで要求の3分の1から半分をサービングパスの期限内に処理できなかった一方、H100パーティションでは失敗がなかった。

費用評価に用いたオンデマンド価格は、分析時点の米国西部(オレゴン)リージョンで、ml.p4d.24xlargeが1時間あたり25.251286ドル、ml.p5.48xlargeが63.296000ドルだった。記事の分析では、インスタンス全体の価格をP4dでは8、P5では16の単位数で割って単位費用を算出している。これは実測条件に依存する比較であり、すべてのワークロードにH100パーティションが有利という意味ではない。短い入力や低同時実行ではA100全体が安価な場合があり、実トラフィックでの検証が必要だ。

GPU分割自体はインスタンス料金を変えず、利用者は従来どおりGPUインスタンス全体に対して課金される。価値の源泉は、1基のGPUに配置できるモデル数や利用率を上げ、性能・費用要件に合う単位を選びやすくする点にある。また、1つのパーティションは複数GPUにまたがらないため、GPUを1基以上必要とするモデルは引き続き全GPUを使う必要がある。

開発者・エンジニア視点での考察

  1. 配置設計を「GPU型の選択」から「プロファイルと負荷特性の組み合わせ」へ変える。 各パーティションを独立したGPU選択肢として扱い、モデルごとにprefillの入力長・到着同時性、decodeの出力長、KVキャッシュ量を計測する。特に重み、KVキャッシュ、実行時オーバーヘッドを分けてメモリ予算を作り、平均負荷だけでなく最大コンテキストとピーク同時実行時の収容性を確認する。

  2. エンドポイントのレイアウト変更をデプロイ戦略に組み込む。 稼働中のホストは再分割されず、コンポーネントのプロファイルも変更できないため、プロファイル変更は新規リソース作成とトラフィック移行を伴う。安定したモデルポートフォリオには適する一方、日々構成が変わる用途では更新頻度と移行コストが運用負担になり得る。候補プロファイルを事前に検証し、設定更新を通常のモデル更新とは別の変更管理対象として扱うべきだ。

  3. ベンチマークではスループットだけでなく、損益分岐点と失敗率を測る。 本記事の比較でも、優位性は入力長・同時実行数によって変わり、低負荷では全GPUのほうが安価だった。実環境ではTTFT、トークン間レイテンシ、出力トークン毎秒、期限超過率、モデルロード後のメモリ余裕を同時に測定し、単位費用とともに評価する。さらにGPU外の共有CPU・メモリ・ネットワークが競合要因になっていないかを切り分け、GPU分離の効果を過大評価しないことが重要である。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT