NVIDIA AIがGated DeltaNet-2を発表：デルタルールにおける消去と書き込みを分離する線形アテンション層
Gated DeltaNet-2の核心：線形アテンションにおける消去と書き込みの分離
NVIDIA AIは、デルタ方程式における消去と書き込みの操作を分離する線形アテンション層「Gated DeltaNet-2」を発表しました。線形アテンションは、標準的なソフトマックスアテンションの持つシーケンス長に対する計算量の二次曲線的増加と無制限なKVキャッシュの課題に対し、固定サイズのリカレント状態を用いることで、シーケンスミキシングを線形時間、デコードを定数メモリに削減する効率的なアプローチを提供します。しかし、この圧縮されたメモリを、既存の関連性を損なうことなく効率的に編集する点が主要なボトルネックとなっていました。
これまでのデルタルールモデル、例えばDeltaNet、Gated DeltaNet、Kimi Delta Attention (KDA)は、能動的なメモリ編集に単一のスカラーゲートを使用してきました。このスカラーゲートは、キー側で古いコンテンツを「消去」する量と、バリュー側で新しいコンテンツを「書き込む」量を同時に制御しており、これら2つの異なる決定が状態の異なる軸に作用するため、結合されていることがモデリング上の制約となっていました。
Gated DeltaNet-2は、この制約を解消するために「Gated Delta Rule-2」を導入しました。これにより、キー軸にチャネルごとの「消去ゲート (b_t)」を、バリュー軸にチャネルごとの「書き込みゲート (w_t)」をそれぞれ独立して設けることで、メモリ編集の2つの決定を分離しています。これらのゲートはトークン表現のシグモイド射影によって生成され、更新は能動的な編集の前に減衰を適用します。この分離されたアプローチにより、Gated DeltaNet-2はKDAを厳密に回復させ（両方のゲートが同じスカラーに縮退する場合）、Gated DeltaNetをも回復させることができます（減衰もスカラーに縮退する場合）。この根本的な変更により、線形アテンションモデルにおける圧縮されたメモリの干渉問題が直接的に解決され、より正確な記憶編集が可能となります。
アーキテクチャとパフォーマンスベンチマーク
Gated DeltaNet-2は、標準的なTransformerスタイルのブロック内でリカレントトークンミキサーとして利用されます。クエリパスとキーパスには線形射影、短い因果的畳み込み、SiLU活性化関数、L2正規化が適用され、バリューパスには線形射影、短い畳み込み、SiLUが使用されます。減衰(α_t)、消去ゲート(b_t)、書き込みゲート(w_t)はそれぞれ独立した線形ブランチから生成されます。リカレント出力はRMS正規化され、SiLU出力ゲートによって乗算された後、元に戻すために射影されます。さらに、Gated DeltaNet-2は、リカレントミキサーの後にSliding-Window Attention (SWA)を挿入するハイブリッド構成も提供しており、これにより長履歴の圧縮と正確なローカルインタラクションの両方を効率的に処理します。
NVIDIA AIは、1.3BパラメータのGated DeltaNet-2モデルを100BのFineWeb-Eduトークンで訓練しました。このモデルは、言語モデリング、常識推論、および特に長期コンテキスト検索において、Mamba-2、Gated DeltaNet、KDA、およびMamba-3といった先行する最先端アーキテクチャを上回る優れた性能を示しています。
具体的なベンチマークでは、言語モデリングと常識推論の両設定でGated DeltaNet-2が最も高い平均スコアを達成しました。リカレントモデルではLAMBADAおよび推論スイート全体で平均53.11を記録し、Mamba-3 MIMO (52.39)やKDA (52.28)を上回っています。ハイブリッド設定では、Gated DeltaNet-2が平均53.97を記録し、Mamba-3 MIMO (52.72)を再びリードしました。特に、RULERの長文コンテキスト検索タスク、いわゆる「藁の山から針を探す」タスクにおいて顕著な改善が見られ、リカレント設定のS-NIAH-2 (4K)ではKDAの89.0から93.0へ、S-NIAH-3 (2K)ではKDAの63.2から89.8へと精度が向上しています。
トレーニング効率の面では、Gated DeltaNet-2は効率的なチャンクごとのWYアルゴリズムとゲート対応の逆伝播処理を利用し、シーケンス長に対してほぼフラットなスケーリングを維持します。これにより、従来の線形アテンションモデルの優れたスケーリング特性を維持しつつ、デカップリングされたゲーティングメカニズムによる計算オーバーヘッドは最小限に抑えられています。
開発者・エンジニア視点での考察
-
長期コンテキスト処理の新たな可能性: Gated DeltaNet-2が提供する消去と書き込みの分離は、線形アテンションモデルが抱えていた長期コンテキストにおけるメモリ干渉の問題を根本的に解決します。これにより、計算コストを二次曲線的に増加させることなく、非常に長いシーケンスを扱う必要があるLLMやその他のAIモデルの設計において、新たなアーキテクチャ的選択肢が生まれるでしょう。特に、複雑な推論や文書処理など、深いメモリ編集能力が求められるアプリケーションでの応用が期待されます。
-
メモリ制御の精密化と解釈可能性の向上: チャネルごとの消去ゲートと書き込みゲートの導入は、モデルの内部状態、特にその「記憶」に対して、これまでになく精密な制御を可能にします。開発者は、特定の情報チャネルを保持したり、意図的に破棄したりするメカニズムをより細かく設計できるようになり、これによりモデルの挙動の解釈可能性とデバッグ能力が向上する可能性があります。これは、信頼性と安全性が重視されるAIシステム開発において重要な進歩となり得ます。
-
高性能かつ資源効率の高いモデル構築への貢献: 1.3Bパラメータモデルでの優れたベンチマーク結果と、MambaシリーズやKDAといった強力なベースラインを上回るパフォーマンスは、Gated DeltaNet-2が既存の線形アテンション技術の限界を押し広げたことを示唆しています。効率的なチャンクごとのトレーニングアルゴリズムと、シーケンス長に線形なスケーリング特性は、限られた計算リソースでより高性能なAIモデルを構築しようとする開発者にとって、非常に魅力的な基盤技術となるでしょう。特に、リアルタイム処理やエッジAIデバイスへの展開において、その効率性は大きなアドバンテージとなる可能性があります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
