NVIDIA、オープンソースワールドモデル「SANA-WM」を発表：単一GPUで1分間の720pビデオ生成を革新
SANA-WMの技術的ブレイクスルー：単一GPUでの高解像度・長時間ビデオ生成
NVIDIAの研究チームは、オープンソースのワールドモデル「SANA-WM」を発表しました。このモデルは、単一の静止画像とカメラの移動経路（6自由度、6-DoF）を入力として、60秒間の720p高忠実度ビデオを生成する能力を持ちます。従来のワールドモデルでは、分単位の長時間、高解像度ビデオの生成は、メモリと計算リソースがシーケンス長に対して二次的に増加する標準的なソフトマックスアテンションの性質上、単一GPUでは非現実的でした。NVIDIAは、この根本的なアーキテクチャ上の課題に直接取り組み、効率を最優先事項として設計したSANA-WMを開発しました。
SANA-WMは2.6億のパラメータを持ち、特に効率に優れており、既存のオープンソースモデルと比較して最大36倍のスループットを実現しつつ、LingBot-WorldやHY-WorldPlayのようなクローズドソース製品に匹敵するビデオ品質を維持すると報告されています。蒸留版は、単一のRTX 5090 GPU上でNVFP4量子化を使用し、60秒間の720pクリップをわずか34秒で生成でき、これは2.1倍のリアルタイム生成速度に相当します。この画期的な効率性は、エンボディドAI、シミュレーション、ロボット工学、ゲームプロトタイピング、VR/ARコンテンツ作成、映画のプリビジュアライゼーションなどの分野における研究と応用を大幅に加速すると期待されています。SANA-WMはApache 2.0ライセンスの下でオープンソースとして公開され、商用利用、修正、再配布が可能です。
革新的なアーキテクチャ設計：ハイブリッド線形アテンションとデュアルブランチカメラ制御
SANA-WMの効率と性能を支えるのは、4つのコア設計です。
-
ハイブリッド線形アテンション（Gated DeltaNet (GDN) 併用）: 標準的なソフトマックスアテンションが長尺シーケンスで直面するメモリ爆発の問題を解決するため、SANA-WMはフレーム単位のGated DeltaNet (GDN) を導入しています。GDNは、過去のフレーム内容を忘却するための「減衰ゲート (γ)」と、現在の状態予測と目標値との残差のみを更新する「デルタルール補正 (β)」を組み込むことで、ビデオ長に関わらずリカレント状態を一定のD×Dサイズに保ちます。これにより、先行モデルSANA-Videoで発生した長時間シーケンスでのドリフトが解消されました。さらに、GDNブロックとソフトマックスアテンションブロックを定期的に組み合わせることで、GDNのリカレンスだけでは不十分な正確な長距離参照を可能にしています。
-
デュアルブランチカメラ制御: 正確な6-DoFカメラ軌道追従を実現するため、SANA-WMは異なる時間レートで動作する2つの補完的なブランチを使用します。粗いブランチは潜在フレームレートで動作し、各潜在トークンに対してカメラから世界への姿勢と内部情報からレイローカルなカメラ基底を計算し、統一カメラ位置エンコーディング (UCPE) を適用します。これにより、カメラ動作に忠実な世界モデルリングが実現されています。
-
2段階生成パイプライン: 基本モデルがフルシーケンスの初期ドラフトを生成した後、別の17Bの長尺ビデオリファイナー（LTX-2からLoRAで初期化）が通過し、長期間にわたって蓄積する不整合を修正し、品質と一貫性を向上させます。
-
堅牢なアノテーションパイプライン: 約21.3万の公開ビデオクリップから、正確なメートルスケールの6-DoFカメラポーズを抽出するアノテーションパイプラインを構築し、高品質で時空間的に一貫したアクションラベル付きデータセットを作成しました。
効率と品質の両立：推論と訓練における最適化戦略
SANA-WMは、訓練と推論の両方において顕著な最適化を達成しています。訓練には64台のH100 GPUを使用し、約15日間で完了しました。この比較的短期間での訓練は、ワールドモデルの迅速な反復開発を可能にします。
推論フェーズでは、単一GPUでの実行に特化しており、高品質なオフライン合成のための双方向ジェネレーター、シーケンシャルなロールアウトのためのチャンク因果オートリグレッシブジェネレーター、そして迅速なデプロイメントのための数ステップ蒸留オートリグレッシブジェネレーターという3種類のシングルGPU推論バリアントをサポートしています。特に、蒸留バリアントはRTX 5090上でNVFP4量子化を用いることで、60秒の720pビデオを34秒でデノイズできます。これにより、リソースが限られた環境でも、高品質なビデオ生成が可能になります。
このような設計は、単にビデオを生成するだけでなく、正確なカメラ制御を伴うシミュレーションや、一貫性のある仮想環境の構築といった、より複雑なタスクへの応用を可能にします。SANA-WMは、既存のオープンソースベースラインに対して36倍のスループットを実現しながら、VBench視覚品質スコアで同等の品質を提供し、業界に新たなベンチマークを確立しています。
開発者・エンジニア視点での考察
-
リソース効率とスケーラビリティのパラダイムシフト: 単一GPUでの1分間720pビデオ生成は、大規模なGPUクラスターに依存することなく、個人開発者や中小企業でも高品質なワールドモデルを活用できる道を開きます。これにより、エンボディドAIエージェントのシミュレーション環境構築や、VR/ARコンテンツのプロトタイピング速度が劇的に向上し、AIモデル開発の民主化が加速されるでしょう。特にNVIDIAの以前のLLaMAシリーズや画像セグメンテーションモデルSAMのオープンソース化が開発者コミュニティを活性化したように、SANA-WMも同様のエコシステムを構築する可能性を秘めています。
-
ハイブリッドアテンションメカニズムの再評価: Gated DeltaNetとソフトマックスアテンションを組み合わせたハイブリッド線形アテンションは、長尺シーケンスにおける記憶効率と精度を両立させるための新たな設計パターンを示します。このアーキテクチャは、ビデオ生成だけでなく、長コンテキストを扱うLLMの処理、大規模な時系列データ解析、リアルタイムのセンサーデータ処理など、他のシーケンスモデリングタスクにも応用可能な汎用性の高いアプローチとなり、今後のモデル設計における重要なヒントとなる可能性があります。
-
実世界シミュレーションとロボティクスへの影響: SANA-WMの6-DoFカメラ制御と高忠実度な長時間ビデオ生成能力は、ロボットの訓練環境や自動運転シミュレーションにおいて、これまで実現が困難だったリアリズムとインタラクティブ性を提供します。これにより、AIエージェントがより複雑で現実的なシナリオで学習できるようになり、物理世界とのインタラクションを模倣するAIシステムの開発が大きく前進します。特に、ゲーム開発者にとっては、リアルタイムのゲームプロトタイピングや、AI駆動のNPC行動シミュレーションにおけるブレイクスルーをもたらす可能性を秘めています。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
