ハーネス適応型RLで性能と効率を両立:3種のエージェント環境を統合するSuper-adapter
実運用ハーネス内で学習し、精度とトークン効率を改善
Hugging Faceの報告は、モデル単体ではなく、実際に推論時に使うエージェント・ハーネスとタスク分布を組み合わせて強化学習(RL)する手法を示した。対象はQwen3.8-27Bと、Pi、OpenCode、Hermes Agentの3種類。従来のように学習フレームワーク内でエージェントループを再実装するのではなく、各ハーネスを配布時の構成のまま動かし、ハーネスとvLLMの間に置いたプロキシで生成トークンを記録する。学習側はこの実際のロールアウトを用いるため、ツール呼び出しやハーネス固有の制御を含んだ挙動に直接適応できる。
最終的な各ハーネス用アダプターは、TRLのAsyncGRPOTrainerで学習したLoRAである。環境にはOpenEnvとHarborを利用し、コンテナ内でPi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6を実行した。AsyncGRPOTrainerは全ロールアウトの終了を待たずに次の最適化へ進むため、非同期の環境実行を活用できる。GPU構成はアダプターごとにNVIDIA 2×B200で、1基をvLLMサーバー、もう1基を学習処理に割り当てている。
報告では、Piハーネスを用いたTerminal-Bench 2.1で、ベースモデルの成功率39%、平均2.9Kトークン/タスクに対し、RL LoRA適用後はpass@1が55%、平均1.5Kトークン/タスクになった例を示す。主な効率改善要因として、推論の短縮とツール呼び出しの削減が挙げられている。学習時はthinking modeをオフにし、報酬は検証器の正誤に、ツール効率に対する小さなボーナス0.1を加えた。
タスク品質の検証と、3つのLoRAを統合する設計
学習データは、Hub上のSWE-smithとTaskTrove形式のSWE-Gym、およびRepo2RLEnvのTasksmith生成タスクから構成する。SWE-smithは実リポジトリにバグを注入し、SWE-Gymは実際のGitHub issueと修正をタスク化する。Tasksmithはマージ済みプルリクエストを基に指示とテストを生成し、正解実装と有効な代替実装が通り、未修正コードや既知の誤答が失敗することを確認する。
タスク選別は、検証器の妥当性と学習信号の有無を分けて評価する。まずopenenv validateで、参照解の最大報酬、何もしない場合との差、canary解の報酬、参照解リプレイの決定性を確認する。Hub候補1,127件のうち858件がこの検証を通過した。さらに、ベースモデルQwen3.8-27Bに各タスクを4回(リポジトリごとの層化サンプル6件では8回)試行させ、毎回成功または毎回失敗するタスクを除外する。442件の採点対象のうち、常に成功したものが151件、全試行失敗が120件、成功・失敗が混在した学習対象が171件だった。最終データセットは35リポジトリの871タスクで、内訳はSWE-smith 717件、SWE-Gym 130件、Tasksmith 24件。GRPO用のqualified subsetは171件である。
3種類のLoRAを統合する際は、更新量の層ごとのコサイン類似度が約0.01~0.02と小さく、互いにほぼ直交している点を利用した。PEFTのcombination_type="cat"でランク32の各LoRAをランク96へ連結し、各更新を係数付きで加算する。Terminal-Bench 2.1の89タスクで比較した結果、係数1/3では各ハーネス固有の更新が弱まり、係数1では更新が過剰になってツール呼び出しがベースの49.2回/タスクから13.4回へ減る一方、Piのスコアがベース水準へ戻った。係数1/2が精度と効率のバランスに優れ、Pi step 160、Hermes step 160、OpenCode step 150のチェックポイントから最終Super-adapterを作成した。
ベンチマーク結果と読み取るべき限界
thinking modeをオフにした評価では、Super-adapterは6つのハーネス・ベンチマーク組み合わせすべてでベースモデルを上回った。平均pass@1は39.5%から49.0%へ向上し、ベースモデルが解けなかったタスクを新たに71件解く一方、34件を失った(p < 0.001)。ただし、専用アダプターが各条件で常にSuper-adapterを上回るわけではない。たとえばSWE-bench Pro(hard 51)のPiでは、専用版64.0%に対して統合版46.0%。一方、Hermesでは専用版43.1%、統合版47.1%だった。統合は単一ハーネスの最大性能より、複数ハーネスでの共用を狙う設計といえる。
thinking modeを有効にした評価でも、Super-adapterは学習時にthinkingを使っていないにもかかわらず、同一設定のベースモデルに対して5条件で勝ち、1条件で同率だった。平均pass@1は55.5%から63.5%へ上昇し、新規に67件を解決、37件を失った。結果は、ハーネス内で獲得した行動改善がthinking modeの設定をまたいで一定程度一般化する可能性を示す。ただし、記事の提示範囲では統計検定や評価試行数の完全な詳細、ならびに学習後にモデルが何を学んだかという分析の結論までは確認できない。したがって、数値は記載されたタスク集合・評価条件の範囲で解釈する必要がある。
開発者・エンジニア視点での考察
-
ハーネスを学習系の外部依存ではなく、学習対象の一部として固定する。 実運用と異なるエージェントループで学習すると、ツール選択や制御フローの差が性能差として残り得る。プロキシで実ハーネスのトークン列を取得する方式は、再実装によるずれを避ける有効な設計だが、ハーネスのバージョン管理と推論時構成の一致が再現性の前提になる。
-
タスク検証と難易度選別を別工程として運用する。 正解を誤判定する検証器は誤った行動を強化し、ベースモデルが常に成功・失敗するタスクはGRPOに有効な相対報酬を与えにくい。意味検証、決定性テスト、ベースモデルによる複数回試行を分離すれば、タスク品質と学習可能性をそれぞれ診断できる。失敗タスクを破棄せず、失敗理由を記録して修復候補にする点も実務上重要だ。
-
複数アダプター統合では、精度だけでなく行動量を合わせて係数を選ぶ。 更新の直交性は干渉が小さい可能性を示すが、係数を大きくすればよいとは限らない。今回、単純和はツール呼び出しを大幅に減らす一方でハーネス間の性能を偏らせた。タスク別成功率、ツール呼び出し数、トークン量を同時に測り、単一環境の専門アダプターと複数環境で使う統合アダプターの目的を区別して評価する必要がある。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


