Agent DLCで変える本番化の基準——評価を中核に据えたエージェント開発


ADVERTISEMENT

本番化には「動いた」以上の証拠が必要

エージェントは、ツール呼び出し、APIのオーケストレーション、社内知識への回答などを実行するシステムとして、実験段階から本番運用へ移行しつつある。しかし、デモで有用性を示せても、それだけではリリース可否を判断できない。本番化には、合意済みの要件を満たすことを示す再現可能な証拠と、変更が改善をもたらしたかを検証する仕組みが必要になる。

従来の単体テストやCI/CDは引き続き必要だが、エージェントには追加の評価が求められる。第一に、非決定性がある。同じ入力でも出力や実行経路が変わり得るため、単一サンプルに対するアサーションだけでは、変更の効果と偶然の変動を分離しにくい。記事は、各例を k 回実行し、合格率と失敗分布で判定する方法を示す。第二に、プロンプト、ツールの説明、検索設定、メモリ設定は、テキスト差分だけでは挙動の変化を把握できない。そのため各変更をバージョン管理し、評価結果と系譜をひも付ける必要がある。第三に、モデルのエンドポイント、ナレッジベース、外部APIはリポジトリ外で変化する。コード変更がなくても、定期的な再評価とベースラインからの逸脱検知が必要だ。

ここでいう「ゴールドスタンダード」は、業務オーナーが承認した、検証可能な基準・閾値・承認済み例の一式を指す。Agent DLC(Agent Development Lifecycle)は、この基準を中心に、Define、Build、Evaluate、Release、Observe、Feed Backの6活動を結び付ける。Defineで業務目標を検証可能な受け入れ条件へ変換し、Buildでそれを満たすエージェントを設計する。Evaluateは候補版の証拠を作り、Releaseは基準に照らして判断する。Observeで本番挙動を監視し、Feed Backで運用から得た知見を次の基準定義へ戻す。

この枠組みには二つのループがある。内側のループは「採点 → 実行経路を調査 → 一つだけ変更 → 再評価」で、固定された基準に対する改善を担う。外側のループは、本番で新たに見つかった要件を基準へ加える。例えば、家族の代理として情報を検索する要望に対する認可条件が未定義なら、プロンプトを調整する前に、認可境界と評価例を基準へ追加する必要がある。基準そのものの不足と、基準に対する実装不足を分けることが、改善効果を正しく解釈する鍵になる。

検索指標の落とし穴:チャンク精度だけでは不足を見抜けない

記事では、HRポリシー文書を対象にした内部向けアシスタントの参照実装を使い、3つの質問を5つの尺度で評価している。これは顧客導入事例やベンチマークではなく、評価・診断手順を示すための測定例である。尺度は、回答中の主張を取得元と照合するGroundedness、取得チャンク全体が質問に必要かを見るチャンク単位のソース精度、チャンク内の個々の事実の必要性を調べる事実単位のソース精度、小問ごとの検索回答可能性を測るRetrieval coverage、回答中の主張のうち必要なものの割合を測るResponse precisionからなる。

初回評価では、パフォーマンスレビューの質問が、Groundedness 0.83、チャンク精度1.00、事実精度0.59、検索カバレッジ1.00で合格した。福利厚生登録では、それぞれ0.90、1.00、0.53、1.00で合格した。一方、病気休暇証明書の質問は0.39、1.00、0.09、0.00で不合格だった。チャンク精度だけなら3問すべて1.00となり、すべてを合格にするゲートも作れてしまう。しかし、事実精度0.09は、取得素材内の事実のおよそ9割が質問に無関係であることを示し、検索カバレッジ0.00は、取得した情報が小問に回答できていないことを示す。チャンクが話題に関係するかと、チャンク中の情報が質問に必要かは別の測定対象である。

次に、システムプロンプトだけを変更し、「取得内容に厳密に根拠を置く」「無関係な取得内容を無視する」「回答を簡潔に焦点化する」という制約を追加した。エージェント、ナレッジベース、評価器、質問は変更していない。パフォーマンスレビューではGroundednessが0.83から0.87、事実精度が0.59から0.85、Response precisionが0.58から0.73へ改善した。対照的に病気休暇の質問ではGroundednessが0.39から0.31へ悪化し、事実精度も0.09から0.04に低下した。

原因調査では、コーパスに病気休暇専用のポリシー文書がなく、休暇管理ポリシーに短い言及があるだけだったと確認された。つまり、問題はプロンプトの指示不足ではなく、回答に必要な情報のカバレッジ不足である。取得内容に厳密に従うよう求めても、欠けている知識は補えない。次に調べるべきなのはプロンプトではなく、ポリシー文書の充足性と検索だった。

また、高いGroundednessだけでは責任ある挙動を保証しない例も示されている。福利厚生登録の回答はGroundedness 0.90で合格したが、「プロフィールから、希望する連絡方法はソーシャルメディアだと分かった」と、存在しないプロフィール情報を個人について述べた。ポリシー文書内の連絡方法の選択肢と、公開FAQコーパス内の無関係な回答をモデルが結合したためである。したがって、根拠の有無に加え、個人情報の取り扱い、認可、情報開示といった責任要件を別の基準として評価しなければならない。記事はスコアが実行間で変動し、境界的な合格が不合格に転じる場合もあると指摘している。数値差だけで改善を判断せず、反復実行と根拠の確認を組み合わせるべきだ。

基準・評価・アーキテクチャを一体で設計する

受け入れ条件は、少なくとも5つの観点に分けて定義する。ドメイン理解は用語、別名、複数段階の関係、社内知識を扱えるか。品質は正確性、完全性、一貫性、引用の裏付けを満たすか。責任は権限、境界、コンプライアンス、監査可能性を守るか。コストはトークン消費、評価コスト、冗長な処理を含めてスケール時にも経済的か。性能はレイテンシ、スループット、安定性、可用性を満たすか、という観点である。

「正確であること」は目標にすぎない。例えば「すべての事実主張が取得ソースへ追跡可能であること」のように、検証方法と承認者を定義して初めて受け入れ条件になる。業務専門家が承認した具体例も必要だ。基準はさらに、リリースを即時停止するハード制約、k 回の試行に対する合格率などで判定するリリースゲート、計測・レビューを続け、評価器の校正後に昇格させる監視項目へ分類する。顧客情報の開示はハード制約の例であり、引用した条項の少なくとも95%がソースに追跡できることはリリースゲートの例である。高い品質スコアでハード制約違反を相殺してはならない。

評価器も基準に合わせる。明確なルールにはコード、コストやレイテンシにはランタイムテレメトリ、容量や可用性には負荷試験と運用データを使う。判断を要する基準にはモデルベースの評価器を用いるが、人手レビュー済みの例と照合して校正する。評価器自体も反復評価し、スコアのばらつきと人手判断との一致を測る。情報保護の評価では、禁止フィールドの検査だけでなく、認可境界やユーザー間の分離テストも含める。

リリース判断はタスク種別、すなわちインテントごとに行う。ハード制約が一つでも失敗すればリリースしない。ハード制約を満たしてもリリースゲートに届かなければ、そのインテントは原則としてリリースせず、人手へルーティングする。限定ロールアウトを行う場合も、受け入れ条件、安全策、停止基準を評価前に合意しておく必要があり、ハード制約違反の上書きや失敗後の閾値引き下げは認めない。ブロック・拒否した要求も評価対象に含め、期待どおりに処理されたかを確認する。基準、閾値、評価器のバージョン、判定を記録することで、承認の根拠を追跡できる。

この評価を可能にするには、アーキテクチャが診断可能な証拠を出す必要がある。例えばツール選択ミスとツール実行失敗を区別するには、ツールの目的、許容入力、出力、エラー条件を定義し、実際の入力・結果・エラーをトレースに記録する。セッション、軌跡、ステップの各粒度で実行を追えるようにすれば、表面上の回答ではなく原因まで調査できる。記事は最初のテスト要求からトレースを記録し、本番のやり取りもサンプリングして業務オーナーとレビューすることを勧める。既存基準に該当する事例は回帰テストへ追加し、基準自体の不足が分かった場合は標準を更新してから内側の改善ループに戻す。

AWSでの開始手順としては、まず範囲を絞った業務タスクを一つ選び、1週間以内の初期ベースライン確立を目指す。最初の1〜2日で業務オーナーとエンジニアが基準・階層・閾値に合意し、一般的な要求と重要なエッジケースを含む20〜30件のゴールデン例を準備する。3〜5日目に評価器を実装して例を反復実行し、失敗と調査に必要な証拠を含めてベースラインを公開する。第2週には一つだけ変更し、同一条件で再評価して、判定と証拠を記録する。その後はリリース工程に評価を組み込み、定期実行と本番失敗のレビューを続ける。

記事では、Amazon Bedrock上のモデルをエージェント構築に利用し、Amazon Bedrock AgentCore Evaluationsの組み込み評価器やカスタム評価器で挙動を評価する構成が紹介されている。AgentCore Observabilityは実行の可視化を担い、Amazon CloudWatchがランタイム監視・診断を補完する。AgentCoreのRuntime、Gateway、Identity、Memoryはそれぞれ実行、ツール連携、アイデンティティ管理、メモリ管理を支える。これらの機能を使う際も、基準に必要な証拠が得られることを前提に、評価とアーキテクチャを設計する必要がある。

開発者・エンジニア視点での考察

  1. 指標を一つの総合点に潰さず、診断可能な評価ベクトルとして保持する。 チャンク精度1.00だけでは、病気休暇の例のような知識不足を見落とす。Groundedness、事実単位の関連性、検索カバレッジ、回答の簡潔さを分離し、各指標がどの失敗モードを検出するのかをテスト設計で明示すると、修正先を検索・データ・プロンプトのどこに置くべきか判断しやすい。

  2. エージェントの変更と評価基準の変更を別のバージョン系列で管理する。 プロンプトや検索設定を変更する内側のループでは、ゴールドスタンダードを固定する。一方、新しい業務要件を追加する外側のループでは、標準そのものを更新し、旧版と新版の両方で結果を比較する。エージェント版、標準版、テストセット、評価器版を実行ごとに結び付ければ、スコア変化が実装の回帰なのか、テスト範囲の拡張なのかを切り分けられる。

  3. 本番の可観測性を、リリース後の監視ではなく設計要件として扱う。 失敗時にツール選択、入力、実行結果、エラー、回答生成のどこで問題が起きたかを特定できるトレースがなければ、評価スコアは修正可能な知見にならない。各受け入れ条件から逆算して必要なログ・トレース・負荷試験データを決め、評価を実装する段階で証拠の取得可能性も検証すべきである。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT