Google Harness²：凍結モデルによる再帰的エージェントハーネス最適化フレームワーク
Google Harness²の概要と「ハーネス」の定義
Google Researchがオープンソース化した「Harness²」は、大規模言語モデル（LLM）の基盤となるモデルの重みを変更することなく、AIエージェントの性能を向上させるための再帰的エージェントハーネス最適化フレームワークです。ここでいう「ハーネス (Harness)」とは、プロンプト、ツール、メモリ、スキル、オーケストレーションなど、モデルを取り巻くすべての要素を指します。Harness²の主要な目的は、これらのコンポーネントを最適化することで、エージェントが未知のタスクに直面する「オープンワールド」環境において、その実行能力を向上させることにあります。
従来の自己改善手法の多くがラベル付きデータやテストケースを前提とするのに対し、Harness²はそれらを必要とせずに機能するように設計されています。これは、エージェントのパフォーマンスが基盤となるモデルだけでなく、命令、ツール、メモリ管理、およびデリゲート手順にも大きく依存するというGoogle Researchの知見に基づいています。フレームワークはプラグアンドプレイ型であり、Python 3.12または3.13、およびuvがインストールされたLinux環境で動作します。
再帰的ハーネス最適化のメカニズム：Propose, Probe, Composeと二層の再帰
Harness²の中核には、エージェントのハーネスを動的に改善するための2つの連携した再帰レベルがあります。
-
タスクレベル再帰 (Task-level recursion): これは、現在のタスクにおける実行ハーネスを洗練することに焦点を当てています。その主要なステップは「Propose, Probe, Compose」と呼ばれます。
- Propose (提案): まず、エージェントはベースハーネスでタスクを一度実行します。次に、エディタは2つの候補（一般的なエージェントの失敗、例えば計画やツール使用を対象とした不変候補と、現在のドメインの知識や手順を対象としたドメイン候補）を提案します。
- Probe (探索): これらの候補は、同じタスク上で実行されます。
- Compose (構成): 最後に、コンポーザーはこれらの実行における行動的対比を比較し、観測された行動によって裏付けられた変更のみを組み合わせて、洗練されたハーネスを構成します。このプロセスは、グラウンドトゥルース（正解ラベル）なしで改善を導くことができ、並列または逐次的にスケーリングすることが可能です。
-
ハーネスレベル再帰 (Harnessing-level recursion): 各タスクの完了後、採用されたハーネスと「EXPERIENCE.md」ファイルに記録された教訓がライブラリに保存されます。このライブラリは、将来のハーネス提案を導くために使用され、タスクを跨いだ永続的な学習を可能にします。これにより、Harness²はタスク固有の最適化と、割り当て全体での持続的な学習を組み合わせ、エージェントが新しいシナリオに適応する能力を高めます。
Harness²は8つの編集可能なハーネスコンポーネントを公開しており、これらにはシステムプロンプト、ガードレール、メモリ、ツールガイダンス、サブエージェント、スキル、スクリプト、およびプラグインが含まれます。これらのコンポーネントは、コンテキスト構築、ツールインターフェース、デリゲート、およびツールループ内の動作をカバーしています。
主要なコンポーネントと性能評価
Harness²フレームワークは、エージェントの実行環境を構成する以下の8つの編集可能なコンポーネントを提供します:
- システムプロンプト (System prompt): エージェントの役割、目的、一般的な操作指示を定義します.
- ガードレール (Guardrails): 実行を形作る行動制約とルールを指定します.
- メモリ (Memory): 以前の相互作用からの関連情報を提供し、意思決定に影響を与えます.
- ツールガイダンス (Tool guidance): エージェントが利用可能なツールをいつ、どのように使用すべきかを記述します.
- サブエージェント (Subagents): 他のエージェントへのデリゲートの側面を制御します.
- スキル (Skills): 特定の種類の作業のための再利用可能な手順を提供します.
- スクリプト (Scripts): エージェントのワークフローをサポートする実行可能な機能を提供します.
- プラグイン (Plugins): ミドルウェア機能としてエージェントの能力を拡張します.
性能面では、Harness²は複数の専門的なベンチマーク（WorkBuddy-Bench、JobBench、LAB）と4つのモデル・ハーネス設定において、一貫した改善を示しています。例えば、GLM-5とOpenCodeの組み合わせでは、WorkBuddy-Benchで64.2から75.7への11.5ポイントの向上を達成しています。また、GLM-5とOpenCodeの組み合わせでは、LAB法律ベンチマークで部分合格率が11.8ポイント向上しました。これらの結果は、ハーネス最適化が測定可能なパフォーマンス改善をもたらすことを示唆しています。Harness²は、GLM-5およびGemini 3.5 Flashといったモデルを評価対象としており、単一の改善ステップでベースハーネスと比較して性能向上を実現しています。実行環境としては、OpenCodeおよびCodexエグゼキュータがサポートされており、モデル実行はVertex AIを介して行われます.
開発者・エンジニア視点での考察
-
モデル重み凍結による効率的な改善パス: Harness²は、基盤となるLLMモデルの重みを凍結したままエージェントの性能を向上させるため、高コストなモデルのファインチューニングやより大規模なモデルへの切り替えに代わる、非常にコスト効率の良いアプローチを提供します。これにより、AI開発者は既存モデルの潜在能力を最大限に引き出しつつ、迅速かつイテレーションを重ねた改善が可能になります。
-
グラウンドトゥルース不要の自己改善メカニズム: 「Propose, Probe, Compose」ステップは、正解ラベルや明確な検証基準が利用できないオープンワールド環境のタスクにおいて、エージェントが自律的にハーネスを洗練するための画期的な方法を提示します。これは、実世界の複雑で多様な問題に対するAIエージェントの適用範囲を大幅に広げ、アノテーションコストの削減にも寄与します。
-
クロス・タスク学習による持続的進化: ハーネスレベル再帰における「レッスンライブラリ」の活用は、エージェントが単一のタスクに留まらず、経験から得られた教訓を異なるタスクや将来のシナリオに応用できることを意味します。このメカニズムは、エージェントの汎用性と適応性を高め、長期的なAIシステムの進化経路において重要な要素となるでしょう。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
