NemotronのファインチューニングでIOIとIMOの金メダル級成果を達成
Nemotronファインチューニングによる競技プログラミング（IOI）の高度化
国際情報オリンピック（IOI 2026）において、NVIDIAの研究チームは「Nemotron 3」ファミリーをベースとした専門特化モデル（Nemotron-3-Ultra-CC）を用い、人間を上回る金メダル級のパフォーマンスを実証しました。競技プログラミングの分野では、制限時間内でのコードの正確性と隠しテストケースをパスするアルゴリズムの構築が要求されます。
同チームは、22,000件のプログラミング問題を収集・キュレーションし、合成推論トレースを用いてモデルのトレーニングを実施しました。300億パラメータ（アクティブ30億）のNanoモデルには教師あり微化学習（SFT）と強化学習（RL）を適用し、5,500億パラメータ（アクティブ55億）のUltra-CCモデルにはSFTを適用しています。特筆すべきは、推論時計算（Test-time compute）を活用した反復的生成・評価・修正戦略（GenCorrect）の導入であり、これにより出力されたコード候補の品質が段階的に向上し、IOI 2026で金メダル閾値を大きく超える535.4/600点を記録しました。
数学オリンピック（IMO）における証明生成・検証・修正メカニズム
国際数学オリンピック（IMO 2026）の領域においても、自然言語による厳密な証明の構築を目的としたアプローチが展開されました。Nemotron 3 Ultraを基盤とし、15,818個のユニークな証明問題にわたる414,890件の高品質フィルタリング済み例題を用いてSFTを実行しました。このデータセットには、単純な最終解答の提示だけでなく、証明の生成、ギャップの特定、批判への応答、証明の完全性判定といったメタ検証プロセスが含まれています。
さらに、モデルの能力限界付近にある9,597問の問題を用いて強化学習（RL）を施したチェックポイントも統合されました。SFTモデルとRLモデルはそれぞれ異なる長所（初期探索力と単一チェックポイントとしての総合力）を持つため、これらを組み合わせたgenerate-verify-refine（生成・検証・洗練）システムを構築。外部の形式的証明器やツール、インターネットアクセスを使用せず、純粋な自然言語処理ベースで30/42点を獲得し、公式の金メダル閾値（29点）を突破しました。
開発者・エンジニア視点での考察
-
ファインチューニングと推論時計算（Test-Time Compute）の相乗効果: 単一の重み更新（SFT/RL）だけに頼るのではなく、生成された複数の候補に対して動的に検証・修正を行うループ（GenCorrect等）を組み合わせることで、ベースモデルのポテンシャルを極限まで引き出せる点が実証された。高度なドメインでは推論時の探索戦略の設計が不可欠である。
-
モデルスケールに応じたポストトレーニング戦略の最適化: NanoモデルではSFTに加えてRLが明確な性能向上をもたらした一方、大規模なUltraモデルでは1エポックのSFTのみでも十分な汎化性能と圧倒的な性能向上を実現するなど、パラメータ規模に応じた学習リソースの効率的な配分設計が重要となる。
-
再現可能なオープンリソースとエコシステムの活用: トレーニングデータ、評価ベンチマーク（Nemotron-IMO-Bench）、推論パイプライン（NeMo-Skills）がHugging Face上でオープンに公開されており、開発者は独自のドメイン特化型推論システムを迅速に構築・検証するための実用的なリファレンスを手に入れることができる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
