vLLMにおけるPush型KVキャッシュ転送：分散推論のTTFTとTPOT最適化手法
分散推論アーキテクチャの課題とPull型転送の限界
大規模言語モデル（LLM）のサービングにおいて、プレフィル（Prefill）処理とデコード（Decode）処理を分離する「分散推論（Disaggregated Inference）」は、リソース利用効率の最大化とスループット向上に不可欠なアプローチとなっています。プレフィルインスタンスで計算されたKVキャッシュ（Key-Value Cache）をデコードインスタンスへ効率的に受け渡すことが、システム全体のレイテンシを左右するボトルネックとなります。
従来の手法では、デコード側がデータを要求して取得する「Pull型」の転送方式が主流でした。しかし、Pull型ではデコードインスタンス側が転送タイミングの制御やリクエスト待ち受けを行うため、不要なオーバーヘッドやネットワークの遊休時間が発生しやすいという構造的課題を抱えていました。これが、初回トークン生成時間（TTFT: Time to First Token）およびトークン間生成時間（TPOT: Time Per Output Token）の悪化要因となっていました。
Push型KVキャッシュ転送メカニズムによるアーキテクチャ革新
本手法では、プレフィル処理が完了した直後に、プレフィルインスタンス側から能動的にKVキャッシュをデコードインスタンスへ送信する「Push型（Push-based）」の転送メカニズムをvLLMに導入しています。プレフィル担当のGPUメモリから、ネットワーク層を介してデコード担当のGPUメモリ空間へ直接データを叩き込むことで、データ転送のパイプライン化とレイテンシの極小化を実現しています。
このアーキテクチャでは、プレフィル完了と同時に転送がトリガーされるため、デコードインスタンスが推論の準備を終えるタイミングとKVキャッシュの到着を精緻に同期させることが可能です。結果として、ネットワークの帯域幅利用効率が理論値に近づき、複数リクエストが輻輳する高負荷環境下でも一貫した低遅延を維持できるようになります。
TTFTおよびTPOTにおける定量的パフォーマンス改善
vLLMエコシステムにおけるこのPush型KVキャッシュ転送の実装により、LLMサービングの主要なパフォーマンス指標であるTTFTとTPOTの双方が大幅に改善されます。プレフィル側から主体的にデータをプッシュすることで、デコード側での待ち時間が短縮され、特に長文コンテキストを扱うワークロードにおいて顕著なレイテンシ削減効果が確認されています。
また、リクエストあたりの処理遅延のばらつき（テールレイテンシ）が抑制されるため、インタラクティブなチャットボットやリアルタイムエージェントシステムなど、厳格なSLAが要求されるプロダクション環境への適用性が飛躍的に向上します。ハードウェア資源を追加することなく、ソフトウェア層の通信・同期アルゴリズムの刷新のみでスケーラビリティが強化される点が特筆すべき成果です。
開発者・エンジニア視点での考察
-
通信プロトコルの非同期化とオーバーラップ: プレフィル計算とネットワーク転送（RDMA等の活用）を完全にオーバーラップさせることで、GPUの遊休時間を削り、スループットの天井を引き上げることが可能になる。
-
メモリ管理とアロケーションの最適化: プレフィルとデコードの間で異種ノード間のGPUメモリレイアウトやページング（vLLMのPagedAttention構造）を完全に一致させ、ゼロコピーに近い転送経路を設計することが実装上の鍵となる。
-
動的スケジューリングとの統合: プレフィル・デコード分離環境における動的な負荷分散（Load Balancing）アルゴリズムにおいて、Push型転送の完了タイミングをスケジューラーにフィードバックする仕組みの構築が、リソース枯渇を防ぐ上で重要となる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
