長期エージェントを高速化する鍵は「キャッシュを壊さない」設計
長い入力と短い出力が、エージェントの推論を特徴づける
コーディングエージェントは、各ターンでシステムプロンプト、ツール定義、依頼、これまでに読んだファイルや実行したコマンドを含む会話履歴全体をモデルへ送る。一方、返答は数十トークン程度のツール呼び出しであることが多い。この「入力シーケンス長(ISL)は大きく、出力シーケンス長(OSL)は小さい」という構造では、通常のチャット以上に入力処理が性能を左右する。
推論処理は、プロンプト全体を処理して最初のトークンを生成する prefill と、後続トークンを一つずつ生成する decode に分かれる。prefillは並列計算を活用し、最初のトークンが出るまでの時間に影響する。decodeでは各トークンの生成時に先行トークンを参照するため、メモリ帯域が重要になる。エージェントでは履歴が増えるにつれて入力が長くなる一方、出力は比較的短いままなので、長期タスクの待ち時間を抑えるには、過去の入力を毎ターン一から処理しないことが重要だ。
ここで区別すべきなのが、単一リクエスト内の KVキャッシュ と、複数リクエストにまたがる prefix caching である。前者は、同一リクエスト内で過去トークンの中間的なKey・Valueを保持し、次のトークンを計算する際に既処理部分を再利用する。後者は、前のターンと共通するプロンプト接頭辞の計算結果を、次のリクエストでも再利用する仕組みだ。各ターンで累積した履歴全体を再処理する場合、各ターンの増分が一定なら、10ターンの入力処理量はキャッシュなしで (1+2+\dots+10=55)、prefix cachingありでは理想的には10となる。100ターンではそれぞれ5,050と100である。これは単純化した例で、実際のターン長は変動する。また、キャッシュを使っても新しいトークンの処理や、キャッシュされた文脈へのattentionが不要になるわけではない。
prefix cachingは、プロンプト先頭から一致を確認し、最初に異なるトークンで再利用を止める。したがって、末尾に内容を追加する変更は既存の接頭辞を保てるが、前方の一文字の変更でも、その後ろに続く部分は再処理が必要になる。キャッシュを活かすには、ハーネスがプロンプトの先頭を安定させることと、推論エンジンが前回のキャッシュを保持し、次のリクエストを適切な計算ノードへ送ることの両方が必要だ。
ハーネスはプロンプトの可変部分を後ろへ置く
ツール検索で必要な定義だけを後から読み込む設計は、ツール定義をプロンプト先頭のツール一覧に追加すると、そこから後ろの履歴がキャッシュ再利用できなくなる可能性がある。可能であれば、新しい定義をプロンプト末尾に追加する方が、既存の接頭辞を保ちやすい。ただし、会話途中のツール定義を受け付けるかはモデルのチャットテンプレートに依存するため、ハーネス側はモデルごとの互換性を確認する必要がある。
ターンごとに変わる時刻、Gitの状態、作業ディレクトリなどをシステムプロンプトに含めるのも、キャッシュを壊しやすい。システムプロンプトを毎回再生成して先頭部分が変われば、その後の履歴全体が再処理の対象になる。セッション開始時に固定されるユーザー名や日付は、そのセッション内の再利用には影響しないが、別セッションとの共通接頭辞を減らす。変動情報はシステムプロンプトではなく、タスクメッセージに一度だけ含めるのが有効だ。
推論強度の変更にも注意がいる。記事ではGLM-5.3-Flashのチャットテンプレートが推論強度を最初のシステムブロックに書き込む例を挙げる。長時間のタスクの途中で設定を低から高へ変えると、プロンプト先頭が変化し、過去の大部分が再処理される可能性がある。開始時に設定を選び、変更が必要なら、既存セッションを続ける代わりに高い設定で新しいセッションを始める方法や、変更前にコンテキストを圧縮する方法が選択肢になる。
ツール出力は次のリクエストだけでなく、それ以降の履歴にも残る。不要に大きな出力はコンテキストウィンドウを消費し、サブエージェントに引き継ぐ場合も負担になる。出力を切り詰める際は、取得した範囲と全体の長さを明示し、続きの検索や範囲指定が可能だと伝える必要がある。たとえば640行のファイルから先頭100行だけを返す場合、切り詰めた事実が分からなければ、必要な関数が421行目以降にあることをモデルが把握できない。
サブエージェントへの文脈共有にもトレードオフがある。親の会話をそのまま引き継ぐ方式では、既存の接頭辞を再利用できる一方、不要な長い履歴がGPUメモリを占有し、生成時にも文脈を参照する。必要なファイルと指示だけを渡す方式なら文脈量を抑えられるが、キャッシュ再利用は共有されたシステムプロンプトやツール定義などに限られる。独自のシステムプロンプトを与えれば、親との共通部分も失われる。
推論基盤はキャッシュの所在とメモリを管理する
ハーネスが安定したプロンプトを送っても、次のリクエストが前回のキャッシュを持つノードに届かなければ再利用できない。ルーティングではまず、対象モデルが稼働し、処理容量があり、セッションが実行されているデータセンターを選ぶ。その後、データセンター内のノードを選択する。記事が説明する主なノード選択方式は二つある。
一つは、クライアントが各リクエストに prompt_cache_key のようなキーを付け、同じキーのリクエストを同一ノードへ送る方式。もう一つは、プロンプト接頭辞をハッシュし、特定セッションに限定せず、最も長い一致接頭辞を保持するノードへ送る方式だ。後者では、システムプロンプトとツール定義をセッション間で共通化することで、新しいセッションが既存のセットアップ部分を再利用できる可能性がある。先頭に固有識別子を入れると、この共有可能性は失われる。
ただし、キャッシュが温まったノードへ常に送るのが最適とは限らない。そこが混雑している場合は、待ち行列に並ぶより、空いているノードへ送り接頭辞を再処理する方がよいこともある。つまり、ルーティングはキャッシュヒット率だけでなく、負荷と待ち時間を考慮する必要がある。安定したプロンプトはキャッシュヒットを保証せず、推論基盤側の選択にも左右される。
エージェントはツール実行やテストのため、次のリクエストまで数分待つことがある。その間ずっとセッションのKVキャッシュをGPUメモリに置けば、実行中の他セッションが使える容量を圧迫する。記事では、アイドル中のキャッシュをCPUメモリへ退避し、次のターンで復元する方法を挙げている。メモリ管理では、必要な容量を事前に最大コンテキスト長分確保するのではなく、リクエストに応じて小さなブロックを割り当てるPagedAttentionと、処理が終わったスロットへ新しいリクエストを順次入れるcontinuous batchingが使われる。複数のサブエージェントが同時に起動する場合にも、バッチ全体の最遅処理を待たずに空きスロットを使える。
記事の説明では、エージェントの同時処理数を制限する主な要因は、計算能力よりもKVキャッシュ用のメモリ余力になりやすい。巨大なツール出力や、不要な履歴を引き継ぐサブエージェントは、別セッションに使えるキャッシュ容量を減らす。また、prefillとdecodeを別クラスタに分ける構成も紹介されている。計算向けのクラスタがprefillを担い、メモリ帯域向けのクラスタが多数のストリームのdecodeを担い、キャッシュをRDMAで転送することで、長い入力の集中が他ユーザーのトークン出力を遅らせにくくする。
開発者・エンジニア視点での考察
-
キャッシュ再利用をハーネスの不変条件として扱う。 システムプロンプト、ツール定義、テンプレート、推論設定をセッション中にどの順序で出力するかを明示し、ターン間で先頭部分が変化していないかを検証する。動的な情報は末尾のタスクメッセージへ移す。モデルのテンプレートが途中のツール定義に対応するかも、モデルごとの互換性テストに含める。
-
キャッシュヒット率だけでなく、再処理量と待ち時間を計測する。 ルーティングでは、キャッシュを持つノードへの割り当てと、混雑したノードで待つコストを比較する必要がある。運用指標として、接頭辞の一致長、再処理されたトークン量、キャッシュの退避・復元、ノード負荷を追えば、ハーネスによる先頭変更と基盤によるキャッシュミスを切り分けやすくなる。
-
文脈の引き継ぎをサブエージェントの役割に合わせて選ぶ。 キャッシュ済みの履歴を共有すれば新規のprefillを減らせるが、長い履歴はメモリを占有し、各生成でも参照される。レビューなど対象ファイルとチェック項目が限られる作業では、必要な情報だけの短いブリーフが適する場合がある。親のキャッシュ再利用と、文脈長・メモリ消費のどちらを優先するかをタスク単位で決める。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


