RLのロールアウト詰まりを解消する分散推論基盤――NVIDIA Dynamoの設計


ADVERTISEMENT

RLの反復を阻むのは推論速度だけではない

強化学習(RL)の学習ループでは、推論ワーカーがモデル出力、行動、環境との相互作用からなるロールアウトを生成し、RLフレームワークが結果に報酬を付けて重みを更新する。その後、新しい重みをワーカーへ配布し、次の反復に進む。したがって、学習速度は単一の生成リクエストのレイテンシだけでは決まらない。ロールアウト生成、サンプル選別、重み更新、ワーカー復旧が連携して進む必要がある。

負荷の偏りは、タスクの構造から生じる。短い応答を一度生成する推論ロールアウトもあれば、コーディングエージェントのようにリポジトリ探索、編集、ツール呼び出し、テストを含むものもある。要求数をGPUごとに均等に振り分けても、処理時間まで均等になるとは限らない。さらに、学習ステップで一定数のサンプルが必要な場合、必要なロールアウトのうち最も遅いものが次のステップを待たせる。

記事が示す制約は三つある。第一に、処理時間の長いロールアウトによる完了待ち。第二に、複数の試行が同じ指示やタスク記述、コードリポジトリの文脈から始まることで生じる、プレフィックスの再計算。第三に、学習中に生成される新しい重みを、サンプリング方式と許容される鮮度要件に従ってワーカーへ届けることだ。Dynamoはこの学習ループのうち、ロールアウトの配信・実行を支えるサービング層として位置付けられる。

KVキャッシュ再利用と負荷分散を両立するルーティング

Dynamoは、ロールアウトを調整するRLフレームワークと推論ワーカーの間に入り、要求を実行可能な容量へルーティングする。KV-aware routingの要点は、キャッシュ済みの文脈を再利用する利点と、特定ワーカーに要求を集めすぎることで発生する待ち行列との釣り合いを取ることだ。

同じタスクに対する複数の解答生成では、共通のプロンプトが繰り返し使われる。プロンプトを保持しているワーカーへ要求を送れば、既に処理済みのプレフィックスを再計算する負担を抑え、GPU計算を新しい出力の生成へ回せる。一方、キャッシュの再利用だけを優先して同じワーカーへ要求を集中させると、キューが伸び、ロールアウト完了と次の学習ステップを遅らせかねない。Dynamoのルーターはキャッシュ再利用とワーカー負荷の双方を考慮し、学習に必要なサンプルをより早く揃えることを目指す。

これは単なる「キャッシュがある場所へ送る」ルーティングではない。最適化対象は個々のリクエストの処理量ではなく、学習ステップに必要なサンプル群の完了時刻である。要求の長さやタスクのばらつきが大きい場合、受け付けたロールアウト数やGPUへのリクエスト数だけを見ても、実際のステップ待ち時間は評価しきれない。

ModelExpressによる重み更新と故障時の容量回復

RLでは学習の進行に伴ってモデル重みが繰り返し更新される。各ワーカーへ毎回フルチェックポイントを送る方式は、配布時間を要し、生成を中断させる可能性がある。ModelExpressは、クラスター内ですでに利用可能な重みの再利用と、更新差分の転送によって、この反復的な配布負担を抑える。

対応するワーカーは、リモートストレージから重みを読み込む代わりに、別のGPU上で稼働中のワーカーからNIXL経由で重みを直接コピーできる。また、更新間に送るデータをフルモデルではなく、変更内容を圧縮したデルタ表現にする。受信側は一致するベースバージョンから新しい重みを再構成するため、転送データ量と更新時間の削減が期待できる。記事では、CoreWeaveがDynamoとModelExpressを使ってモデル重み更新を最大15倍高速化した事例を挙げている。この数値は個別の導入事例として示されており、あらゆる構成に一律に適用できる性能値ではない。

同じデルタ転送の仕組みは、故障からの復旧にも関わる。交換ワーカーはチェックポイントを読み込み、その後のデルタを適用して学習の進行状態へ追いつける。Dynamoはワーカーの喪失を検出し、新規要求を利用可能なワーカーへ振り向け、準備の整った交換ワーカーをルーティング対象に加える。対応構成では、実行中リクエストの移行や段階的なドレインも可能とされる。ただし、中断されたサンプルの扱いや、交換ワーカーに必要な重みが適用されていることの確認はRLフレームワーク側の責任である。

学習制御とサービング制御を分離する設計

Dynamo導入時も、学習プロセスの所有権はRLフレームワークに残る。フレームワークは最適化、報酬、環境、チェックポイント、サンプルの採用可否を管理する。Dynamoはルーティング、ワーカー管理、サービング制御、テレメトリーを担い、推論エンジンが生成と更新済み重みの適用を行う。ModelExpressは、対応する統合を通じて重みや成果物を配布する。

生成要求は共通のサービングフロントエンドを通る一方、重み更新はフレームワークの制御下で対象ワーカーに個別に適用される。この分離により、フレームワークは、いつワーカーがサンプルを生成できるか、どの結果を学習に使えるかを決めながら、配信経路の改善を独立して行える。ルーティングは「どこで生成するか」を決めるが、「生成結果が学習要件を満たすか」はフレームワークが判定する構成だ。

記事では、Microsoft AIがポストトレーニング時のRLロールアウト推論にDynamoを利用し、CognitionがSWE-1.7のポストトレーニングで推論ワーカーの管理とロールアウトのルーティングに使ったとされる。また、H CompanyはDynamoとModelExpressにより、平均学習ステップ時間を最大20%、GPU時間を最大5%削減したと報告されている。オープンソース統合としてverl、NeMo RL、Slime、prime-rlが挙げられている。こうした数値や採用例は、各利用環境での報告として解釈し、ワークロードや構成を超えた保証と混同しないことが重要である。

開発者・エンジニア視点での考察

  1. 評価指標を「リクエスト処理量」から「学習反復の完了時間」へ広げる。 ロールアウト長のばらつきと、必要サンプルが揃うまでの待ち時間を追跡する。要求数や平均トークン生成速度だけでなく、学習ステップを止めている遅いサンプルやワーカーの負荷偏りを特定できる計測が、KV-aware routingの評価に必要になる。

  2. KVキャッシュのヒット率とキュー遅延を一緒に見る。 キャッシュ再利用はプレフィックス計算を減らす一方、再利用先への集中は待ち行列を悪化させ得る。キャッシュヒットによる計算節約だけを最適化目標にせず、ワーカー負荷とロールアウト完了時刻を合わせて観測し、対象ワークロードで適切な優先度を調整する。

  3. 重みの鮮度とサンプル採用条件をフレームワーク側で明示する。 更新をいつ適用するか、どのワーカーが生成可能か、どの重み状態で生成したサンプルを採用できるかは、学習アルゴリズムの要件に依存する。デルタ適用や復旧を導入する際は、ベースバージョンの一致、更新後の準備完了確認、中断サンプルの扱いを運用手順として定義し、サービングの可用性と学習上の正当性を分けて検証する。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT