NVIDIA Nemotron-Labs-Diffusion: 3モード対応言語モデルによる推論効率の革新
統一アーキテクチャによるマルチモード推論の実現
NVIDIA AIの研究者たちは、単一のアーキテクチャ内で3つのデコーディングモードを統合する言語モデルファミリー「Nemotron-Labs-Diffusion (NLD)」を発表しました。この革新的なモデルは、自己回帰 (Autoregressive, AR) デコーディング、拡散ベースの並列デコーディング、および自己推測 (Self-speculation) デコーディングをサポートしています。特筆すべきは、これらのモード切り替えが推論時にアテンションパターンを変更するだけで可能であり、モードごとに異なるモデルファイルを用意する必要がない点です。これは、デプロイメントの複雑さを大幅に軽減し、多様な推論シナリオにおいて柔軟な対応を可能にします。
NLDは30億、80億、140億のパラメータサイズで提供され、ベースモデル、指示応答モデル、そしてビジョン言語モデル (VLM) のバリアントを含みます。この統合されたアプローチは、従来のARモデルが抱えるシーケンシャルデコーディングによるスループットのボトルネック、特に低バッチサイズやシングルユーザー、エッジデプロイメントにおけるハードウェア利用率の低下という課題に対処するために設計されました。
革新的なデコーディング手法とパフォーマンスベンチマーク
Nemotron-Labs-Diffusionは、ARとDiffusionの共同学習目標で訓練されており、両目標が補完的であるとされています。Diffusionは先読み計画を改善し、ARは自然言語に固有の左から右への言語的先行情報を提供します。これにより、モデルは単一のチェックポイントで高い精度を維持しながら、様々な推論ニーズに対応できます。
パフォーマンス面では、Nemotron-Labs-Diffusionは顕著な改善を示しています。自己推測モードでは、Qwen3-8Bと比較してフォワードあたり約5.99倍のトークン数を達成しています。また、NLD-8BはQwen3-8Bよりも高い精度で約5.9倍多くのトークンをデコード可能であり、GB200上でのバッチサイズ1において、Qwen3-8B-Eagle3よりも2.4倍高速な処理を実現しています。GB200でのコンカレンシー1では、ARモードと比較して3.3倍のスループット向上を記録し、カスタムCUDAカーネルを用いることで1015トークン/秒（4倍）にまでブースト可能と報告されています。さらに、LoRAチューニングされた線形自己推測モードのNLD-14Bは、ARモードのQwen3-14Bを上回る平均66.36%の精度と5.96倍のTPFを達成しています。自己推測における平均アクセプタンス長は6.82トークンに達し、Eagle3の2.75トークンやQwen3-9B-MTPの4.24トークンを大幅に凌駕しています。
推論効率の飛躍的向上と実世界への影響
Nemotron-Labs-Diffusionの登場は、AI推論の効率と柔軟性において画期的な進歩を意味します。単一モデルで3つのデコーディングモードをサポートすることで、開発者は高並列度のクラウド環境から、低レイテンシが重視されるシングルユーザーやエッジデバイスのデプロイメントまで、幅広いシナリオに最適な推論戦略を適用できるようになります。
特に、推論のボトルネックがメモリから計算へと移行したことは、今後のハードウェア設計や最適化の方向性にも影響を与えるでしょう。モデルの重みが一度ロードされれば、複数のトークンの計算に再利用されるため、効率が向上します。これは、LLMのコスト効率とスケーラビリティを改善し、より広範なAIアプリケーションへの道を開くものです。NVIDIAは、vLLMやSGLangといったOpenAI互換のプロダクションエンドポイントへの指針も示しており、この新しいデコーディングパラダイムが現実世界のシステムに統合されることを期待させます。
開発者・エンジニア視点での考察
-
単一モデル・複数モードによるデプロイの簡素化: これまで推論性能やレイテンシの要件に応じて複数のモデルやデコーディング戦略を使い分ける必要があったが、Nemotron-Labs-Diffusionは単一のモデルチェックポイントでAR、Diffusion、自己推測という3つのモードを切り替えられるため、デプロイメントパイプラインと運用管理が大幅に簡素化される。特にエッジデバイスや多様なクラウド環境での推論において、柔軟性と効率性が向上する。
-
自己推測デコーディングによるスループットとアクセプタンス長の向上: 従来の自己回帰型モデルのシーケンシャルデコーディングのボトルネックを打破するため、自己推測モードではDiffusionパスによるドラフト生成とARパスによる検証が同じモデル内で実行される。これにより、Qwen3-8B-Eagle3と比較して平均アクセプタンス長が約3倍、SGLangでのスループットが2.2倍向上しており、特に低並列度環境でのユーザー体感速度が劇的に改善される。
-
AR-Diffusion共同学習の相補的効果と将来性: ARとDiffusionが競合するのではなく、ARが言語の左から右への事前分布を提供し、Diffusionが見通し計画を改善するという相補的な関係にあることが示されている。両目的が同時に最適化される設計は、今後のより高度な推論戦略やモデル開発において、多様なデコーディングメカニズムを統合する新たな道筋を示すものである。将来的には、より洗練されたサンプリング手法により、TPFが理論上の上限7.60倍に近づく可能性を秘めている。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
