NVIDIA Cosmos 3 Edge: ロボットオンデバイス制御のためのポストトレーニングと革新的アーキテクチャ
NVIDIA Cosmos 3 Edgeの概要とMixture-of-Transformers (MoT) アーキテクチャ
NVIDIAは、物理AIのフロンティアを拡大するため、オンデバイスロボット制御に特化した「NVIDIA Cosmos 3 Edge」を発表しました。これは、40億パラメータを持つオープンなワールドモデルであり、クラウドへのラウンドトリップなしに、エッジデバイス上でリアルタイムの視覚推論とロボットアクション生成を可能にします。このモデルは、ロボットやビジョンAIエージェントが周囲の状況を理解し、リアルタイムで推論し、アクションを生成するのを支援するために設計されています。
Cosmos 3 Edgeの核となるのは、画期的なMixture-of-Transformers (MoT) アーキテクチャです。このアーキテクチャは、2つの補完的なTransformerタワーを組み合わせています。1つは離散トークン生成と推論のための自己回帰型Transformer、もう1つは連続的なマルチモーダル生成と世界状態予測のための拡散型Transformerです。これらは共有されるマルチモーダルアテンションを通じて連携します。 この統一されたアーキテクチャにより、Cosmos 3 Edgeは、テキスト、画像、ビデオ、環境音、およびアクションといった多様なモダリティを単一のシステム内でネイティブに理解し、生成することができます。 特筆すべきは、Cosmos 3 Edgeが、Cosmos 3ファミリーの他のモデル（NanoやSuper）がQwen3-VLの事前学習済み重みから初期化されたのとは異なり、スクラッチからトレーニングされている点です。これにより、チャットボットや汎用的なLLMではなく、物理AIの特定のニーズに最適化されたワールドモデルとして機能します。
オンデバイス推論性能とロボット制御への応用
Cosmos 3 Edgeは、エッジデバイスでの効率的な推論に重点を置いており、NVIDIA RTX PRO GPU、NVIDIA DGX、GeForce RTX GPU、そしてNVIDIA Jetson（新発表のT2000およびT3000モジュールを含む）といった幅広いハードウェアでメモリ効率の高い高スループット推論を実現します。 パフォーマンス面では、ロボット制御解像度640x360の観測値で動作し、1回の推論あたり32のアクションを生成し、NVIDIA Jetson Thor上で15 Hzのリアルタイム制御を達成できると報告されています。
このモデルは、ワールドモデルとして、アクションの視覚的な結果を予測したり、変化を引き起こしたアクションを推測したり、特定の目標を達成するためのアクションを生成したりする能力を持っています。これにより、物理AIシステムは現在の世界の状態を理解し、可能な未来をシミュレートし、それらの未来をアクションに結びつけることができます。 さらに、Cosmos 3 Edge Policy (DROID) と呼ばれるロボットマニピュレーションポリシーも提供されており、ピックアンドプレースタスク向けにDROIDデータセットでポストトレーニングされています。 ベンチマークでは、Cosmos 3 Edgeは、約40億パラメータのモデルの中でVANTAGE-Benchのビジョン分析において第1位を獲得し、ロボットポリシー学習の最先端を確立しています。
ポストトレーニングの重要性と開発エコシステム
NVIDIAは、Cosmos 3を「専門特化のための基盤」と位置付けています。これは、実際のデプロイメントでは、固有のカメラアングル、エッジケース、環境に対応するためのドメイン特化が不可欠であることを意味します。そのため、NVIDIAはオープンなポストトレーニングスクリプト、データセット、およびリファレンスレシピを提供しており、開発者がモデルを特定のニーズに合わせて調整できるようにしています。 開発ワークフローとしては、小規模なH100クラスターまたはNVIDIA DGX Stationでファインチューニングを行い、その後、特化されたモデルをエッジハードウェアにデプロイすることが推奨されています。
NVIDIA Cosmos Coalitionは、ワールドモデルの構築者、AI開発者、物理AIのリーダー間のグローバルな協力を促進し、Cosmos 3技術、トレーニングツール、NVIDIA DGX Cloudインフラストラクチャを活用して、オープンなワールドモデルの発展を加速しています。 Cosmos 3 EdgeはHugging Faceからダウンロード可能であり、開発者はモデルをカスタマイズし、NVIDIA NIMマイクロサービスとしてデプロイすることができます。
開発者・エンジニア視点での考察
-
エッジデバイスでの自律性向上: Cosmos 3 Edgeは、クラウドへの依存を最小限に抑え、ロボットがリアルタイムで環境を理解し、行動を生成できる能力を大幅に向上させます。これにより、ネットワーク遅延に敏感なミッションクリティカルなロボットアプリケーションの展開が加速されるでしょう。特に、工場や倉庫、医療現場など、データのプライバシーやセキュリティが重要視される環境での採用が期待されます。
-
ワールドモデルによる開発効率の変革: 物理世界のモデル化とアクション予測を統合したMoTアーキテクチャは、ロボットのポリシー学習とシミュレーションのギャップを埋める可能性を秘めています。開発者は、現実世界のデータ収集に要する時間とコストを大幅に削減し、Cosmos 3 Edgeを活用して物理的に正確な合成データを生成・利用することで、開発サイクルを劇的に短縮できます。これは、複雑なシナリオやエッジケースのテストにおいて特に価値があります。
-
専門分野特化型AIモデルの迅速な展開: オープンなポストトレーニングスクリプトとリファレンスレシピの提供は、開発者が特定のロボットプラットフォームや環境（例えば、特定のカメラアングルやセンサーレイアウト）に合わせてモデルを迅速に微調整し、デプロイできることを意味します。これにより、AIモデルのカスタマイズが容易になり、研究から実用化までのリードタイムが短縮され、多様な産業ニーズに対応するAIソリューションの創出が加速されます。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
