SageMaker AI、KVキャッシュ状態に基づくLLMルーティングを導入
キャッシュの実状態を使い、再計算と負荷の両方を抑える
Amazon SageMaker AIのリアルタイムエンドポイントに、KV cache-aware routing(KV-aware routing)が追加された。従来のprefix-aware routingがリクエストの先頭部分からキャッシュ位置を推定するのに対し、KV-aware routingはモデルコンテナが報告するキャッシュ状態を参照し、プロンプトとの一致長とインスタンスの負荷を考慮して転送先を決める。
LLMはプロンプトの処理結果をGPUメモリ上のKVキャッシュに保持し、同じ接頭部分を再利用できれば、その部分の計算を省略できる。マルチターン会話、長いシステムプロンプト、RAGで繰り返し使う文書などでは、どのインスタンスが対象の文脈を保持しているかが推論コストとTTFTに影響する。
KV-aware routingの処理は、次の3要素で構成される。
- コンテナからのイベント通知:
SM_VLLM_KV_EVENTS_CONFIGを有効にすると、コンテナはKVキャッシュの格納・追い出し時にイベントを発行する。 - マネージドキャッシュインデックス:SageMaker AIはイベントに基づいてキャッシュ位置を追跡する。インデックスが保持するのはキャッシュ内容そのものではなく、内容の一方向・短縮ハッシュと、それを保持するインスタンスまたは推論コンポーネントのコピーへの対応情報である。プロンプト、トークンID、リクエストペイロード、KVテンソルは保存しない。
- 一致度と負荷に基づく振り分け:リクエストのプロンプトをトークン化してインデックスを検索し、最長のキャッシュ一致を持つ候補を選ぶ。ただし候補が過負荷なら除外し、次点の利用可能な候補を使う。
この方式では、キャッシュが追い出された事実もインデックスに反映される。たとえば会話履歴の一部をインスタンスAが保持しなくなり、別のインスタンスBにより長い一致部分が残っていれば、次のターンをBへ送れる。リクエストが長くなるにつれて会話履歴全体をトークン単位で照合できるため、固定長の接頭部分に依存しない。一致候補がない場合や候補がすべて混雑している場合は、LEAST_OUTSTANDING_REQUESTS相当の負荷考慮ルーティングへフォールバックする。
Prefix-aware routingとの違いと性能上の意味
prefix-aware routingは、リクエスト本文からキャッシュ位置を推定する方式で、コンテナ側のイベント連携を必要としない。一方、実際のキャッシュ状態を参照しないため、GPUメモリ不足によるキャッシュ追い出しが起きても、同じインスタンスへリクエストを送り続ける可能性がある。また、会話が短くPrefixLengthに達していない間は、ターンごとにハッシュ対象の先頭部分が変わり、会話が別インスタンスへ分散することがある。
両方式の主な違いは以下のとおり。
| 項目 | Prefix-aware | KV-aware |
|---|---|---|
| キャッシュ位置の判断 | リクエストの接頭部分から推定 | コンテナが報告するキャッシュ状態 |
| 照合単位 | PrefixLengthまでのバイト数または文字数 | トークン単位の最長一致 |
| 主な設定 | PrefixLength、ConcurrencyThreshold | 固定長の一致パラメーターなし |
| コンテナ要件 | prefix caching対応コンテナ | 対応コンテナ、prefix caching、KVイベント通知 |
| 追加レイテンシ | 記事のpart 1で1.3~1.9ミリ秒 | 短いプロンプトで数ミリ秒、長い場合は主にトークン化分だけ増加 |
記事のベンチマークでは、Llama 3.1 70B Instructをml.p5.48xlarge 7台で稼働させ、20または100人の仮想ユーザーによる30分間のマルチターン会話および文書Q&Aを実施した。プロンプト長は最大約64,000トークンである。ランダムルーティングとの比較では、長いプロンプトかつ高負荷の条件で、KV-aware routingはp50 TTFTを最大97%削減し、スループットを最大234%向上させた。KVキャッシュヒット率はランダムルーティングの3~48%から80~93%に上昇した。低負荷でも長いプロンプトでは効果が見られた一方、再利用できるプリフィル処理が少ない短いプロンプトでは利得が小さい。数値はワークロード依存であり、実トラフィックによる評価が必要である。
キャッシュインデックスはフリートの変化にも追従する。スケールインで削除されたインスタンスのエントリーは除かれ、スケールアウトやインスタンス置換後の新しいインスタンスは空のキャッシュから始まる。このため、更新直後などは一時的にレイテンシが高くなる可能性がある。また、KV-aware routingが有効なのは、単一モデルエンドポイントで少なくとも2インスタンス、推論コンポーネントエンドポイントで少なくとも2コピーがある場合に限られる。
有効化、互換性、効果の検証
設定はモデルとエンドポイント構成の2か所で行う。モデルコンテナには、KVイベント通知を有効にする環境変数を設定する。
{
"Environment": {
"SM_VLLM_MODEL": "<model-id-or-/opt/ml/model>",
"SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://*:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://*:5658\"}"
}
}
エンドポイントのproduction variantでは、RoutingConfigにKV_AWAREを指定する。
{
"RoutingConfig": {
"RoutingStrategy": "KV_AWARE"
}
}
対応コンテナは、SageMaker AI向けAWS vLLM Deep Learning Containerで、vLLM 0.33.0以降、またはAmazon Linuxビルドのserver-sagemaker-cuda-v2.8.0以降。prefix cachingは既定で有効だが、KVイベント通知は利用者が設定する必要がある。対象はGPUインスタンスタイプ上のリアルタイム単一モデルエンドポイントと推論コンポーネントエンドポイントで、動的LoRAアダプターも含まれる。LoRAでは、すでにアダプターがロードされているインスタンス間で振り分ける。
リクエストはOpenAI互換のCompletionsまたはChat Completions形式に対応し、InvokeEndpoint、InvokeEndpointWithResponseStream、またはSageMaker AI OpenAI互換Chat Completions APIから送信できる。InvokeEndpointWithBidirectionalStreamは対象外である。modelフィールドを指定する場合は、SM_VLLM_MODELの値と一致させる必要がある。CUDA 13向けコンテナでは、対応AMIをInferenceAmiVersionに指定しないと起動に失敗する場合がある。
呼び出しAPIは従来どおりで、たとえばChat Completions形式のリクエストを利用できる。
{
"messages": [
{"role": "user", "content": "返品ポリシーを教えてください"}
]
}
ただし、prefix-aware routingのマルチテナント用prefix isolationは適用されず、prefix-aware IDヘッダーとprompt_cache_keyは無視される。トップレベルのcache_saltに非null値を指定すると400エラーになる。また、コンテナが提供していないモデル名をmodelに指定するとModelErrorとなる。
効果を確認するには、まずモデル環境変数SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS=trueを設定し、レスポンスのusage.prompt_tokens_details.cached_tokensを確認する。追加入力として送ったプロンプトのうち、KVキャッシュから処理されたトークン数を把握できる。さらに、エンドポイント構成に--metrics-config '{"EnableDetailedObservability": true}'を指定すると、コンテナのKVキャッシュヒット率やTTFTなどのメトリクスをCloudWatchで確認できる。詳細な可観測性にはAWS CLI 2.35.6以降、またはBoto3 1.43.31以降が必要となる。
SageMaker AIは起動時に要件を検証する一方、KV-aware routingのフォールバックやルーティング判断そのものを示すメトリクス・ログは提供しない。したがって、キャッシュヒット数やヒット率を用いた確認が重要である。比較実験では、同じモデル、インスタンスタイプ、台数、プロンプト、同時実行数、測定時間を揃え、KV_AWAREとPREFIX_AWARE、必要に応じてRANDOMを比較する。プロダクションで再利用する文脈の長さや順序、会話の伸び方をテストにも反映させる必要がある。
開発者・エンジニア視点での考察
-
ルーティング評価をキャッシュヒット率とTTFTの組み合わせにする。 キャッシュヒット率だけでは、負荷が高い候補を避けた結果やトークン化コストを捉えきれない。
cached_tokens、ヒット率、TTFT、スループットを同じ負荷条件で記録し、キャッシュ再利用が実際のサービス指標へ結びついているか評価する。 -
プロンプト構成をキャッシュ局所性の観点で設計する。 RAGで同じ文書を使う場合、文書の順序が異なると共通の接頭部分が短くなり、共有キャッシュを活用しにくい。安定した共通文脈を先頭に置き、構成の一貫性を保つことは、prefix-awareとKV-awareの双方で有効な設計判断となる。
-
スケーリング・更新をキャッシュのコールドスタートとして扱う。 スケールアウトやインスタンス置換後の新規コピーはキャッシュを持たず、旧インスタンスのエントリーもフリート変更に応じて除去される。更新直後のTTFT悪化を通常時の性能と混同しないよう、デプロイやスケーリングを含む時間軸で計測し、ウォームアップ期間を評価計画に含める。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


