UAEF:エージェント評価をフレームワーク横断で標準化するクローズドループ基盤
UAEFの狙い:異なる実行形式を共通の評価軸へ
AIエージェントのフレームワークごとに、メッセージ、ツール呼び出し、エージェント間の引き継ぎを記録する方法は異なる。そのため、特定のトレース形式を前提に評価指標や採点処理、結果保存を構築すると、フレームワークを変更したり複数の実行基盤を併用したりする際に、評価系の作り直しが発生しやすい。プロンプト、モデル、ツールの変更が品質を改善したのかを、バージョン間で一貫して判断しにくいことも課題となる。
Universal Agent Evaluation Framework(UAEF)は、この結合をアダプター層で切り離すオープンソースの評価システムだ。LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCoreなどの実行記録を、共通表現である AgentTrace に正規化し、以降の採点、保存、比較を同じ処理経路で実行する。既存のトレースを渡すパッシブ評価と、ARNまたはHTTPエンドポイントを介してUAEFがデータセット入力ごとにエージェントを呼び出すアクティブ評価の両方に対応する。Langfuseに保存された記録や、独自形式のトレースもアダプターを通じて扱える。
評価対象は、ツール呼び出し、応答品質、責任あるAI、性能、複数ターン会話、マルチエージェント協調、推論の7領域にわたる。36種類の組み込み指標は、いずれも0〜1の正規化スコアを返し、1を最良とする。トレース形式の差を最初に吸収することで、同じ指標と採点ロジックを使い、異なるフレームワークで構築したエージェントも共通の尺度で比較できるのが中核的な設計上の利点だ。
正規化されたトレースを採点し、再現可能な比較へ
UAEFの指標は、トレースと正解データから直接スコアを計算する決定論的指標と、Amazon Bedrock上の判定モデルを使うLLM-as-a-judge指標に分かれる。前者は同じ入力に対して再実行時も同じ結果を返し、ツール選択や実行順序、性能などを評価する。後者は応答の関連性や安全性など、閉形式の計算では定義しにくい品質を扱う。独自指標の追加に加え、RAGASおよびDeepEvalとの統合も利用できる。
LLM-as-a-judgeでは、評価対象エージェントの出力が判定モデルへの入力になるため、出力内容が判定を誘導するリスクを考慮している。評価ルーブリックと評価対象の内容は分離して送られ、内容は区切りを逸脱して命令として解釈されないようエスケープされる。判定結果は厳密に解析され、採点対象からの逐語的な根拠箇所を提示できないスコアは記録されない。ただし、判定スコアは評価信号であって安全性の決定ではない。実行時のセキュリティ制御をこの採点に委ねず、エージェントの呼び出し経路では別途Amazon Bedrock Guardrailsを適用する必要がある。
正解データは任意だが、参照回答との比較を行う指標には必要となる。ツール呼び出しを評価する場合は、テストケースごとに期待するツール、呼び出し順、引数もデータセットに含める。UAEFは参照回答がない場合、正解データを必要とする指標を自動的にスキップするため、部分的にラベル付けされたデータやラベルのない本番トラフィックも評価に活用できる。
実験管理とレポートで改善サイクルを閉じる
評価を persist=True で保存すると、実験メタデータはAmazon DynamoDB、詳細な結果はAmazon S3に記録される。DynamoDBには実験ごとの評価件数、指標別平均、全体平均など、一覧表示や比較に使う情報を保持し、S3には指標スコアや判定理由を含む詳細結果を保存する。実験内の各runには、フレームワーク、モデル、ツール、システムプロンプト、パラメーターに加えて、設定スナップショットやGitコミットを記録できる。runをベースラインに指定すれば、スコアと変更内容の対応関係を後から追跡しやすい。保存データに対するPIIのマスキングにも対応する。
比較エンジンは、2つのrunに共通する指標について平均スコアの絶対差と変化率を算出し、設定可能な閾値で改善、回帰、変化なしに分類する。既定の閾値は5%で、回帰は5〜10%を軽微、10〜20%を中程度、20%超を重大として扱う。複数runを一つのベースラインと比較でき、回帰をディメンション別に集約することで、たとえばプロンプト変更がツール利用に与えた影響と、応答品質への影響を分けて確認できる。Web UIとPythonライブラリは同じ比較エンジンを利用するため、表示経路によって比較結果が変わらない。
保存後の分析には、目的の異なる3段階がある。結果画面では全体スコア、評価件数、指標平均、テストケースごとの応答とスコアを確認でき、複数ターン評価ではターンごとのスコアとツール呼び出しも表示される。詳細レポートはスコアのみから計算され、信頼区間、外れ値、分布、指標間相関、責任あるAIの要約、失敗ケース、低スコア領域に基づく推奨を提示する。同じ結果からは同じレポートが生成される。一方、Amazon Bedrockを使ったLLM生成インサイトは、単一runの強みや弱点、根本原因の仮説、優先度付き提案、または複数runの傾向と回帰リスクを分析する。
Pythonライブラリとデプロイ可能なWebサービスは、同じ評価エンジンと保存先を共有する。前者はノートブック、スクリプト、CI/CDパイプラインでの利用に向き、後者はデータセットと指標を選ぶ低コードの評価に使える。Apache 2.0ライセンスのリポジトリにはライブラリ、アダプター、AWS CDKインフラ、Web UI、対応フレームワーク別のノートブックが含まれる。実データを含むCSVまたはXLSXを用いる場合は、評価前のPII検出・マスキングを検討し、実験を不要になった時点でDynamoDBとS3の保存データを削除する運用も重要だ。
開発者・エンジニア視点での考察
-
トレース正規化を評価基盤の安定した境界として設計する。 フレームワーク固有の記録形式を指標ロジックに直接持ち込まず、アダプターで
AgentTraceに変換する構造は、評価コードの再利用性を高める。独自フレームワークを接続する場合も、まずメッセージ、ツール呼び出し、ハンドオフが共通表現へ正しく写像されるかを検証し、その後に採点ロジックを拡張するのがよい。 -
リリース判定では、指標選定と正解データの整備をセットで考える。 36指標を一律に適用するのではなく、エージェントの用途に応じて最初に見る指標を絞る。たとえば、ツール利用を伴うエージェントでは期待ツールと順序・引数をデータセットに含め、RAG型評価では参照コンテキストや回答を用意する。指標の比較可能性を保つには、バージョン間で同じテストケースを実行できるデータセット設計も重要になる。
-
スコアをセキュリティ制御と混同せず、変更の追跡可能性を確保する。 判定モデルの採点は、敵対的な出力や評価器への誘導を完全に防ぐ安全機構ではない。実行時のガードレールと評価系を分離したうえで、runごとにプロンプト、ツール、パラメーター、Gitコミットを記録し、ベースラインとの差分を見られるようにする。これにより、回帰を検出した後に、どの変更がどの品質領域へ影響したかを調査しやすくなる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


