DaisyRose-27B:長期エージェント学習を支える事後学習効率の新設計
長期タスク向けRLでTerminal-Bench 4.1を2倍超に改善
RadixArkは、Qwen3.8-27Bを基盤とするDaisyRose-27Bを公開した。モデルのアーキテクチャ、トークナイザー、チャットテンプレート、画像理解機能、256Kトークンのコンテキストウィンドウは基盤モデルから維持し、Milesを用いた強化学習でエージェント能力を高めている。学習対象は、最大100万トークンに及ぶ長いセッションを含むエージェントタスクで、約1,200件の厳選タスクを18日間、144基のH200 GPUで学習した。
ベンチマークでは、基盤モデルに対して掲載された全項目でスコアが向上した。Terminal Bench 4.1のpass@1は5.6%から12.0%へ上昇し、最大の改善幅を示した。ほかにもTerminal Bench 2.1は73.0から75.5、DeepSWE v1.1は42.2から46.2、SWE Bench Pro v2は91.3から94.7となった。HLE(text-only)は33.9から34.3、IFBenchは79.5から82.4、GPQA Diamondは89.2から90.7である。各スコアはBF16とFP8の実行結果の高い方を採用し、両形式を評価したベンチマークでは差が1ポイント未満と報告されている。
この結果を支えたのは、単に長いコンテキストを与えることではなく、複数の依存する手順を要するタスクを実行環境ごと学習に組み込んだ点だ。各試行にはサンドボックス内で最大1.5時間、100回を超えるツール呼び出し、256Kを超える出力トークンが許される。長い実行履歴はハーネスによる要約を介して複数の軌跡に分割され、学習に取り込まれる。
タスク設計・非同期学習・サンドボックスを一体化
学習タスクはEigent AIとの協業で構築した。機械学習、ソフトウェア工学、科学などの領域から数千件の候補を作り、最終的に約1,200件を採用した。選定では、基盤モデルが実際に誤る箇所を狙うこと、複数の相互依存ステップを必要とすること、意図した問題を解かずに合格できないことを重視している。基盤モデルを各タスクで動かして誤りを確認し、学習に適した成功率となるよう難易度を調整したうえで、設計上の抜け穴があるタスクは修正または除外した。
Milesを用いた学習は完全非同期で進む。128基のH200がエージェントの推論を担当し、別の16基が軌跡からモデルを更新する。各学習ステップの後、更新済みモデルを推論側の128基へ配布するため、エージェントと学習器が互いの完了を待たずに動作できる。この構成は、長時間タスクによる推論待ちを学習の停止要因にしにくくする設計である。
RadixArkによれば、独自バックエンドでのモデルFLOPs利用率(MFU)はピーク計算性能の37%で、Megatronを基盤とするオープンソース学習器の比較実行では16%だった。同社は、同じ学習に必要なGPU時間を57%削減できると説明している。エージェントのタスク実行時間も含めたスループットは144基で約16,800トークン/秒、比較対象のオープンソース学習器では約8,300トークン/秒。リリース学習は144基で合計63,000 GPU時間に及び、速度と効率が初期から最終ステップまで安定したという。MoEモデルではさらに大きな効率差を報告しているが、これはDaisyRose-27B自体の学習結果とは別の比較事例である。
学習を支えるサンドボックス基盤は、オープンソースのAgentENVプロジェクトを基礎として構築された。プロジェクトでは9週間に約94万4,000件のサンドボックスを起動し、同時稼働数は最大1,566。サービスは1台から最大12台へ拡張され、学習を続けながら10回のアップグレードを実施した。サンドボックス作成の成功率は9週間全体で99%、10月下旬以降は99.95%超とされる。また、実使用量に応じてメモリー割り当てを増減させることで、一般的なクラウドサンドボックス事業者を使う場合と比べ、サンドボックスのインフラ費用を約80%抑えたと報告している。
推論・配布と結果の読み方
チェックポイントはApache 2.0ライセンスでBF16、FP8、NVFP4の形式が提供される。推論サーバーにはSGLangとDSpark speculative decodingの組み合わせが推奨され、GPUやチェックポイント形式ごとの起動設定はSGLangの手順に示されている。API利用例では、モデルはデフォルトで回答前に推論し、その内容をreasoning_content、最終回答をcontentとして返す。
ベンチマークの改善は、特にTerminal Bench 4.1のようなエージェント実行能力において顕著だ。一方、各数値は記事に記載された評価設定に基づくものであり、スコアはBF16とFP8の高い方を採用している。実運用での比較では、タスク環境、試行条件、推論設定、精度形式をそろえる必要がある。とりわけ、ツール呼び出しを含む長時間タスクでは、モデル品質だけでなくサンドボックスの再現性や失敗率も結果に影響する。
開発者・エンジニア視点での考察
-
評価セットを「失敗の診断」から設計する。 タスクを増やすことより、モデルが実際に犯す誤りを起点に課題を作り、解答過程をレビューして抜け道を塞ぐ手法が重要だ。自社のエージェントでも、失敗ログを分類し、弱点に対応するタスクと合格条件を整備すれば、学習データの量に依存しすぎない改善サイクルを構築できる。
-
長期ロールアウトでは、学習器と実行器の非同期化を検討する。 数十分から数時間に及ぶ実行が学習更新を待たせる構成では、GPUの稼働効率が低下しやすい。推論ワーカーと学習ワーカーを分離し、更新モデルを段階的に配布する設計は有効な選択肢となる。ただし、実装時には軌跡とモデルバージョンの対応を記録し、更新前後のデータが混在する影響を評価する必要がある。
-
環境基盤の可用性とコストをモデル品質と同じ指標で管理する。 94万件規模のサンドボックス実行と高い起動成功率は、大規模なエージェント学習において環境サービス自体が重要な構成要素であることを示す。タスク失敗とインフラ障害を区別できるログ、リソース使用量に応じた割り当て、並列数の上限管理を整え、モデルの改善幅だけでなく学習1回あたりのGPU時間・環境費用・有効軌跡率も追跡したい。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


