SageMaker HyperPodにおけるLLM推論最適化：Disaggregated Prefill and Decode (DPD)の技術的深掘り
LLM推論の課題とDisaggregated Prefill and Decode (DPD)の概要
大規模言語モデル（LLM）の推論は、その計算負荷の高さから、特に実稼働環境において一貫したパフォーマンスとスループットを維持することが大きな課題となっています。従来のLLM推論では、プロンプト処理を行う「Prefill」フェーズと、トークン生成を行う「Decode」フェーズが同じGPUリソースを共有していました。この設計では、特に長いコンテキストを持つリクエスト（長文の入力処理など）が他のすべての同時リクエストのトークン生成を妨げ、高い遅延を引き起こす可能性がありました。これにより、特定のフェーズの過剰なプロビジョニングが必要となり、リソースの非効率性が生じていました。
この課題に対処するため、Amazon SageMaker HyperPodは、Disaggregated Prefill and Decode（DPD）という推論最適化機能を導入しました。DPDは、LLM推論のこれら2つのフェーズ（PrefillとDecode）をそれぞれ専用のGPUプールに分離します。Prefillは計算集約型であり、Decodeはメモリ帯域幅集約型であるため、これらのフェーズを分離することで、リソースの競合を解消し、それぞれの特性に最適なリソース割り当てを可能にします。この分離により、特に混合トラフィック条件下で一貫したトークンごとのレイテンシと予測可能なスループットが提供されます。
DPDの技術的メカニズムと性能上の利点
DPDの中核をなす技術的メカニズムは、PrefillとDecodeのGPUプール間でのKey-Value (KV) キャッシュの効率的な転送にあります。この転送は、Elastic Fabric Adapter (EFA) を介してGPU-Direct RDMA（Remote Direct Memory Access）を使用することで実現されます。GPU-Direct RDMAは、CPUを介さずにGPU間で直接データ転送を可能にし、低レイテンシかつ高帯域幅の通信を実現します。これにより、大規模なKVキャッシュの移動が高速に行われ、分離された推論パイプライン全体のパフォーマンスが維持されます。
DPDの導入により、以下のような具体的な性能上の利点がもたらされます。
- 一貫したトークンごとのレイテンシ: PrefillとDecodeが互いにリソースを競合することがなくなるため、特に同時実行性の高い状況下で、より安定したトークン生成レイテンシを実現します。
- 高いスループットと厳格なレイテンシSLAへの適合: リソース競合の排除により、サービスレベル目標（SLO）が厳格な推論ワークロードにおいても、より高い有効スループット（goodput）を提供します。
- PrefillとDecodeの独立したスケーリング: 各フェーズのGPUプールをワークロードの入力および出力分布に合わせて個別にスケーリングできるため、リソース利用効率が最大化され、コスト最適化にも寄与します。
- インテリジェントなルーティング: SageMaker HyperPodには、インテリジェントなルーターが組み込まれており、長いコンテキストのリクエストはDPDパス（分離されたPrefillとDecode）に自動的に振り分けられます。一方、短いプロンプトは直接デコーダーに送信され、KVキャッシュ転送のオーバーヘッドなしに効率的に処理されます。
- 最適な適用シナリオ: DPDは、Llama 3.3 70Bのような大規模モデル、4,000トークン以上の長い入力、毎秒2リクエスト以上の高い同時実行性、そして256トークン以上の適度または長い出力を持つワークロードで最大の効果を発揮します。
SageMaker HyperPodでのDPDの実装と運用
SageMaker HyperPod上でDPDを有効にするには、ユーザーは既存のHyperPod Inference Operatorで使用するInferenceEndpointConfigカスタムリソースにpdSpecセクションを追加するだけで済みます。 この統合の容易さは、開発者が複雑なインフラストラクチャ設定を気にすることなく、LLM推論の最適化に集中できることを意味します。
DPDは、SageMaker HyperPodの既存のKVキャッシュオフロード機能やインテリジェントルーティング機能と組み合わせて使用できます。 例えば、LMCacheと呼ばれるマネージド型多層KVキャッシュ機能は、GPUメモリだけでなくCPU RAM（L1）やリモートストレージ（L2）にまでKVキャッシュを拡張し、長期的なコンテキスト管理とメモリ制約の緩和に貢献します。 DPDとこれらの機能を組み合わせることで、さらに堅牢で効率的なLLM推論環境を構築することが可能です。
DPDは、EKSオーケストレーターを使用し、EFA対応インスタンスタイプを搭載したSageMaker HyperPodクラスターで利用できます。 AWSは、llm-dのようなKubernetesネイティブなアーキテクチャを持つ分散推論フレームワークがSageMaker HyperPod EKS上で動作することを可能にし、NVIDIA Inference Xfer Library (NIXL) を介したEFAインターフェースによるKVキャッシュの効率的な転送をサポートしています。
開発者・エンジニア視点での考察
-
リソースの独立したスケーリングとコスト最適化の機会: DPDにより、PrefillとDecodeのGPUリソースを個別にスケーリングできるようになったことは、開発者にとって大きなメリットです。これにより、特定のワークロードパターン（例：入力が非常に長く、出力が短い対話型AIと、入力が短く出力が非常に長いコンテンツ生成AI）に合わせてリソースをきめ細かく調整し、計算リソースの過剰なプロビジョニングを避け、運用コストを大幅に削減できる可能性が生まれます。
-
複雑なトラフィックパターンにおける信頼性の向上: DPDのインテリジェントルーティング機能は、開発者が多様なユーザー入力に対応する際に、推論の信頼性を高めます。短いプロンプトと長いコンテキストのリクエストが混在する実際の使用シナリオにおいて、システムが自動的に最適なパスを選択することで、開発者は予測不可能なレイテンシスパイクのリスクを軽減し、より安定したユーザーエクスペリエンスを提供できます。
-
既存の最適化技術とのコンポーザビリティの活用: DPDが既存のKVキャッシュオフロード（LMCacheなど）やインテリジェントルーティング機能と組み合わせて使用できる点は重要です。開発者は、これらの機能を組み合わせることで、GPUメモリの制約、ネットワーク帯域、および計算要件といった複数の側面からLLM推論を最適化するための柔軟なアーキテクチャを設計できます。特に、非常に大規模なモデルや超長文コンテキストを扱う場合、これらの組み合わせはシステムの限界を押し広げ、新たなアプリケーションの可能性を開くでしょう。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
