コーディングエージェントのモデル選択を最適化:Amazon BedrockとNeMo Switchyardによるタスク単位ルーティング
評価単位を「トークン」から「完了したタスク」へ
コーディングエージェントは、依頼を受けてファイルを読み、コードを編集し、テストを実行する一連のタスクを進める。その過程で発生するモデル呼び出しは数回の場合もあれば、数十回に及ぶ場合もある。したがって、トークン単価だけでは、開発者が実際に負担するタスク全体のコストを表せない。
タスクの総コストは、モデルが必要とするターン数、各ターンで再送される会話履歴の量、リトライの頻度に左右される。未完了に終わったタスクの試行にもコストが発生するため、評価指標は「実行に要した総費用 ÷ テストに合格した実行数」とする。これは、安価なモデルを選ぶこと自体ではなく、成功した成果をどれだけの費用で得られるかを比較する考え方だ。
AWSのサンプルは、Amazon Bedrock上のモデル呼び出しをLiteLLM経由で行い、NVIDIA NeMo SwitchyardのLiteLLM連携でリクエストごとにモデルを選択する。サンプルのベンチマークランナー bench/run.py は、ファイル一覧・読み取り、ソースファイルの置換、用意された単体テストの実行を行う小規模なコーディングエージェントである。合否はタスク終了時のテスト結果で判定する。
ただし、提供された記事本文は「within six mode」で途切れており、タスクの制限時間や評価条件を確定できない。この記述からベンチマークの実行時間や条件を推測することはできない。また、記事本文にはベンチマーク結果の数値も示されていない。ここで提示されているのは、特定のモデルやルーターが優れているという測定結果ではなく、利用者自身のワークロードでルーティングと単一モデルを比較するための構成と評価方法である。
Stage/Randomルーティングの仕組みと履歴要件
Switchyardは、利用可能なモデルと選択戦略を定義し、エージェントの各リクエストを処理するモデルを選ぶ。LiteLLM連携で説明される戦略はStageとRandomの2種類で、どちらもルーティング時に判定用モデルを別途呼び出さない。
Stageは、リクエスト履歴に含まれる最近のツール活動とツール結果を参照し、2つの候補モデルから選ぶ。サンプルの設定では、候補を「高性能モデル」「効率的なモデル」の順に宣言し、picker = "efficient_first"、confidence_threshold = 0.5、recent_window = 3 を指定する。信号が判断材料にならない場合は効率的な候補を使い、判定対象は直近3件のツール結果である。新規リクエストにはツール結果がないため、最初の呼び出しはNVIDIA Nemotron 3 Super 120Bに送られる。繰り返しの失敗など、履歴上の実行信号がエスカレーションを示す場合は、より高性能な候補へ切り替えられる。
Stageは、会話履歴を使って判断するため、エージェントは各リクエストに必要な全履歴を含めなければならない。サンプルのアダプターが扱うメッセージ形状は、テキストメッセージ、関数ツール呼び出し、テキスト形式のツール結果であり、非対応の形状は推論前にエラーとなる。Stageには任意のエスカレーション/デエスカレーションメモや、モデル階層ごとのシステムプロンプト設定もあるが、サンプルでは設定していない。
Randomは、設定された候補からランダムに選び、候補ごとの重みを指定できる。サンプルのA/B比較用プロファイルは2モデルを[0.5, 0.5]で振り分ける。Stageには候補がちょうど2つ必要で、Randomには少なくとも2つ必要となる。一方、TaskやCompositeのような分類器ベースの戦略は中間的なモデル呼び出しを必要とするため、このLiteLLM連携ではサポートされない。LiteLLMには、組み込みのSwitchyard Stageルーターを自動ルーター戦略として使う選択肢もあると記事は述べている。
AWS上のゲートウェイ構成と安全な検証
サンプルはAWS CDKを使い、LiteLLMとSwitchyardプラグインを1つのコンテナイメージにまとめ、Amazon ECS on AWS Fargateのプライベートサブネットで稼働させる。外部からの入口はロードバランサーで、HTTPS用のACM証明書と、必要に応じてRoute 53のホストゾーンを利用する。アクセス元は指定したIPv4 CIDRに制限し、AWS WAFはIPレピュテーション、既知の不正入力、送信元IPごとのレート制限(5分間に2,000リクエスト)を適用する。
ロードバランサーがECSタスクへ転送するのは/v1/chat/completions、/v1/models、/health/livelinessのみで、それ以外のパスは404を返す。これによりLiteLLMの管理UI、APIドキュメント、キー管理ルートを公開しない。タスクはポート4000で待ち受け、セキュリティグループはロードバランサーからの通信だけを許可する。WAFは汎用の本文検査ルールのうち、エージェントのリクエスト本文に影響するクロスサイトスクリプティング、SQLインジェクション、本文サイズのルールを含めない構成である。
認証キーはAWS Secrets Managerで生成し、コンテナ起動時にsk-を付加する。AWS認証情報はタスクのIAMロールから取得し、モデル呼び出しはAmazon BedrockのConverseまたはConverseStream APIへ送る。Bedrock RuntimeのVPCインターフェイスエンドポイントを経由するため、推論通信はAWSネットワーク内にとどまる。LiteLLMのログはCloudWatch Logsの/<stack name>/litellmに保存され、保持期間は30日。Container Insightsによるメトリクス収集も設定される。VPCは2つのAvailability Zoneにまたがり、イメージ取得などのアウトバウンド通信にはNATゲートウェイを1つ使う。
サンプルはClaude Opus 5.5とNVIDIA Nemotron 3 Super 120Bの組み合わせを、米国東部(バージニア北部)でテストしたとしている。利用リージョンでのモデル提供状況とツール呼び出し対応は別途確認が必要だ。ClaudeのモデルIDに付くglobal.はクロスリージョン推論プロファイルを示し、対応する商用AWSリージョンで処理される可能性がある。処理場所が要件に関わる場合は、地理的プロファイルまたはリージョン内モデルIDを検討する。
このサンプルは、本番環境向けではない。記事では、switchyard-server 0.3.0をcrates.ioから導入し、公開済みのLiteLLM v1.102.0イメージを実行する構成としている。Switchyard側もこのコンポーネントをデモ・評価用と位置付けており、連携の設定やAPIはリリース間で変わる可能性がある。非本番AWSアカウントで検証し、組織のセキュリティ、規制、コンプライアンス要件を確認した上で扱う必要がある。
比較実験を成立させる設定と運用上の注意
LiteLLMのモデルグループswitchyardには、Stageが選ぶ2つのモデルデプロイメントを登録する。同時に、claude-opus-5-5とnemotron-super-3-120bという単一モデルのベースラインも用意する。これにより、同じデプロイ環境でルーティング群と各モデル単独のコスト・合格率を比較できる。Switchyardプラグインは、2つ以上の候補を持つグループには適用し、単一モデルのベースラインはそのまま通すラッパーを使う。
すべてのモデルはbedrock/converse/<id>形式で指定され、サンプルの検証処理はそれ以外のルートを拒否する。LiteLLMのrequest_timeoutは600秒で、ロードバランサーの10分間のアイドルタイムアウトに合わせている。履歴を含む長いエージェント処理では、このようなタイムアウト整合が途中切断を避ける上で重要になる。
設定ファイルには認証情報を記載しない。記事は、litellm.yaml全体がタスク定義とCloudFormationテンプレートへ平文でコピーされるため、aws_access_key_id、aws_secret_access_key、api_keyなどをlitellm_paramsに書かないよう明示している。Bedrock権限はモデル設定から導出されるため、デプロイ前に生成されたIAMポリシーを確認する。特にグローバル推論プロファイルでは、権限リソースにワイルドカードが含まれる構成となるため、適用範囲のレビューが必要だ。
HTTPSを使わない短時間のHTTPテストも明示的なオプトインで可能だが、その場合はゲートウェイキー、プロンプト、ツール結果、ソースコード、モデル応答がクライアントとロードバランサー間で暗号化されない。自分だけが使うIPv4 /32から、機密性のないコードで短時間試す用途に限るべきである。終了後はキーをローテーションし、スタックを削除する。通常利用では必ずHTTPSのURLをクライアントに設定する。HTTPからHTTPSへのリダイレクトを使うと、リダイレクト前の最初のリクエストとキーは平文で送信される。
また、ロードバランサーが転送するのはChat Completions APIのパスであり、OpenAI Responses APIやAnthropic Messages APIのパスではない。これらを使うクライアントは現状404となるため、経路を追加する場合はコンテナ上で検証し、再デプロイする必要がある。モデルの選択を変えるだけでなく、エージェントが実際に送信するAPI形式、メッセージ履歴、ツール結果の形状まで含めて適合性を確認することが、正しい比較の前提となる。
開発者・エンジニア視点での考察
-
合格率を含むコスト指標を実験の主指標にする。 トークン単価や平均応答時間だけでは、リトライや未完了タスクのコストを捉えられない。タスクごとの総費用とテスト合格結果を記録し、ルーティング群・各単一モデル群のコスト/成功タスクを同一条件で比較する。記事本文にはベンチマーク結果の数値がないため、採用判断には自組織のタスク分布を使った実測が必要だ。
-
履歴の欠落をルーティング品質の問題として扱う。 Stageは直近のツール結果を参照するため、クライアントが会話履歴を省略したり、ツール結果をサポート外の形式で送ったりすると、判断に必要な信号が失われる。エージェントのリクエスト生成側で履歴保持とメッセージ形状をテストし、ルーターの設定値だけでなく、実際に渡された履歴も評価対象にする。
-
サンプルを本番化する前に境界と権限を再設計する。 実験用の構成は、固定されたモデル候補、限定されたAPIパス、明示的な送信元CIDRを前提とする。本番適用を検討する場合は、Switchyard連携の実験的性質、モデルのリージョン処理、導出IAMポリシー、キーの保管・ローテーション、WAFの除外ルールを個別にレビューし、組織の要件に合わせて検証する。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


