Astra for Law、法務ベンチマークで首位――検索基盤と専用設定が示す法律AIの設計


ADVERTISEMENT

専用モデル設定と拡張検索インデックスが支える法務性能

OpenAIは2026年11月17日、GPT‑6.2 Astraを基盤とする法律向けモデル設定「Astra for Law」の更新版を発表した。これは基盤モデルを単に法務用途へ転用するのではなく、拡張された法律検索インデックスと、法的質問の調査、権威ある法源の比較衡量、回答文の作成に関する指示を組み合わせた構成である。モデル本体の能力に加えて、検索資源とタスク固有の指示を反復的に調整するアプローチが、専門領域での性能向上を狙う。

検索インデックスは9月以降に34%拡張され、80 million超のURLが追加された。更新後は310 million超のURLを収録し、公開済みの米国先例判例法の99.9%超をカバーするとされる。英国、オーストラリア、カナダなど、米国外の法域も追加対象に含まれる。法律調査では、正しい結論を導くだけでなく、適用可能な法源を見つけ、主張を根拠に結びつけることが重要となるため、検索範囲の拡大はモデルの推論能力とは別の改善軸として機能する。

ベンチマーク結果:完全達成率と根拠のない主張の抑制

Artificial Analysis版のHarvey Legal Agent Benchmark(LAB-AA)は、24の法律分野にわたる120件の課題を用い、証言録取の質問案作成、商業賃貸借契約のレビュー、買収時の所有権変更戦略などを評価する。満点には、課題の全要件を満たし、資料に裏付けられない重大な主張をしないことが求められる。Astra for Lawは課題の20.8%で満点を獲得し、GPT‑6.2 Astraの15.0%、Muse Wonder Fullの13.1%を上回った。非OpenAIモデルの最高得点と比べると、満点の獲得頻度は約59%高い。

出力トークン数にも差がある。Astra for Lawは課題あたり平均約64,000トークンで20.8%の満点率を達成したのに対し、Muse Wonder Fullは平均139,000トークンで13.1%だった。評価対象内では、Astra for Lawの満点率を下回る出力トークン数の構成はなかったとされる。これは、長い回答を生成すること自体ではなく、要件を満たす根拠付き成果物をどれだけ効率よく得られるかが、実運用上の評価指標となることを示す。

同じ120課題における重大な幻覚は、Astra for Lawが課題あたり平均0.03件で、GPT‑6と並び比較対象中の最低水準だった。Claude Opus 5.5は0.59件で、Astra for Lawの約20倍にあたる。軽微な幻覚はAstra for Lawが0.06件、Claude Opus 5.5が0.51件で、約8.5倍の差が報告されている。さらに、満点基準を満たした課題では重大な幻覚がゼロだったという。法律業務では、もっともらしい誤引用や根拠のない実質的主張が成果物全体の信頼性を損なうため、正答率だけでなく誤りの重大度を分けて測ることが重要である。

法律調査・ブリーフ作成での改善と利用開始

HarveyとGrubelが共同開発したLAB: USCLは、実際の米国連邦訴訟を題材に、モデルがブリーフを調査・作成できるかを評価する。モデルは同一の当事者・争点について、元のブリーフ提出直前の状況から作業する。ひとつの条件では関連判例を自ら調査し、もうひとつでは訴訟記録と原告側弁護士が引用した先例が与えられる。AI評価者は、弁護士がレビュー・調整した基準に従ってブリーフを比較する。

判例を自力で調査する条件では、Astra for Lawのスコアは1,844で、Claude Opus 5.5の1,817を上回った。先例が与えられた条件では、両者は1,883対1,882とほぼ同水準だった。今回の改善点を考えるうえでは、必要な先例をモデル自身が特定する前者が特に重要となる。実務の訴訟担当者は、適切な判例一覧をあらかじめ持っているとは限らないためである。

Vals AIのLegal Research Benchでは、米国の連邦法・州法に関する質問を対象に、必要事項を網羅し、出典検証を通過する回答を評価する。Astra for Lawの満点率は9月の約46%から、11月16日の評価では208問中112問、53.8%へ上昇した。部分点を含む全設問の得点率は、利用可能な点数の90.9%だった。更新版はChatGPT Enterpriseの全顧客がTrusted Access Programを通じてアクセスを申請でき、API利用も申請可能である。既に利用権がある顧客はChatGPTでgpt-6.2-astra-lawを選択できる。

開発者・エンジニア視点での考察

  1. 専門領域では、基盤モデルだけでなく検索資源と指示を独立した改善対象にする。 Astra for Lawは、モデル本体に法律検索インデックスと調査・権威比較・文書作成の指示を重ねる構成である。自社の法務システムでも、モデル更新と検索コーパス更新を分けて管理し、各変更が回答品質に与える影響を個別に評価できる設計が有効だ。

  2. 評価指標を「満点率・重大度別エラー・出力コスト」の組み合わせにする。 LAB-AAの結果は、満点率だけでなく、重大な幻覚と軽微な幻覚を分け、出力トークン数も併記している。開発チームは平均正答率だけに依存せず、要件の全充足率、根拠のない重要主張の頻度、トークン消費を同じ評価パイプラインで追跡することで、品質と運用費のトレードオフを可視化できる。

  3. 検索を含む長期タスクでは、調査条件と資料提供条件を分けて検証する。 LAB: USCLは、モデル自身が先例を探す条件と、記録・先例が与えられる条件を分けている。この区別により、検索能力の改善と、与えられた資料から論証を組み立てる能力の改善を切り分けられる。法務エージェントを構築する際も、検索・選択・根拠付け・執筆の各段階を別々に評価し、失敗箇所を特定するべきである。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT