NVIDIA Cosmosで構築するインタラクティブ・シミュレーション向け世界モデル
Cosmos Frameworkが担う世界モデル開発の全工程
NVIDIA Cosmosは、物理AI向けの世界基盤モデルと開発ツールをまとめたプラットフォームとして紹介されている。開発上の課題を、モデルをセンサー・タスク・データに適応させることと、実アプリケーションで安定して動かすことに分け、前者を主にCosmos Framework、後者をCosmos NIMマイクロサービスで支援する構成だ。
Cosmos Frameworkは、学習、マルチモーダルデータ処理、最適化、推論を組み合わせられるモジュール型のフレームワークである。Cosmos 3に加え、NVIDIA Alpamayo、GR00T、Qwen、pi0.5など、互換性のあるモデルのサポートを拡張している。学習データはJSONL、WebDataset、LeRobot、またはカスタムアダプターから読み込み可能で、複数GPUでの学習やチェックポイントからの再開に対応する。モデルの適応方法としては、少数のパラメーターを更新するLoRAと、全パラメーターを更新する教師ありファインチューニング（SFT）が用意される。
強化学習の経路もオンラインとオフラインの双方を含む。DPOはオフラインの選好最適化、GRPOはルールまたはモデルによる報酬とvLLMロールアウトを使うオンライン学習、PPOは固定された参照モデルとcriticを持つactor-critic方式で、シミュレーション内の身体化ポリシーにも適用できる。さらに、固定教師モデルからのオンポリシー蒸留（OPD）や、拡散型世界モデル向けのオンラインRLであるDiffusionNFTも記載されている。ロールアウト、報酬計算、学習の各役割は、共有GPUまたは別々のGPUプールで実行できる。
この構成の意義は、データ形式、適応手法、実行環境を単一の固定パイプラインに閉じ込めず、用途に応じて差し替えられる点にある。学習後は蒸留でモデルサイズや生成ステップ数を減らし、量子化でメモリーを削減できる。実行先にはHugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM、TRT-Edge-LLM、NVIDIA NIMが挙げられている。
車両・ロボット・手術を対象にしたシミュレーション
記事では、Cosmos Frameworkの推論レシピと公開チェックポイントを使い、カメラ映像とLiDAR観測を生成する複数のワークフローを示している。自動運転向けのCosmos3-Nano-Transfer-Autoは、複数視点のクリップ全体を一度にノイズ除去する双方向生成方式で、オフラインの合成データ生成に適する。入力・出力は30 fpsで、480pまたは720pの最大400フレームを扱い、さらに長い系列は自己回帰的なチャンク生成で作成できる。
このモデルはプロンプトとWorld Scenario Map（WSM）を受け取る。WSMは車線、物体、道路標示、交通標識、道路境界などを制御し、RGBとLiDARの同時生成ではHDマップのレンジマップ制御も使う。初期LiDAR観測を任意で与えられるほか、初期カメラ画像で生成シーンの外観を誘導できる。プロンプトには天候、照明、時刻、路面状況を記述し、カメラリグや画角に関する接頭辞も利用する。たとえば、道路形状と車両軌跡を維持しつつ、昼間の走行を雨の夜へ変化させるシナリオを作り、知覚・運転モデルを異なる環境条件で訓練、評価できる。
参照例では、4 GPUを使って720pの同期映像を7本、30 fps・297フレームで生成し、LiDARスイープ99件を出力する。生成後にはsample_outputs.jsonで処理成功を確認し、lidar.safetensorsの距離・強度値が有限であることを検証する。さらに、WSMとの整合性やカメラ間の一貫性も確認するよう案内されている。つまり、動画の見た目だけでなく、複数センサーの同期と構造化制御への追従が評価対象となる。
Cosmos3-Nano-Sim-Autoは、Transfer-Autoの因果的かつ少ステップ蒸留された派生版で、自己回帰型のストリーミング生成を行う。WSMレンダラーを通じて運転ポリシーや人間の入力がシナリオを更新し、その状態に対応するカメラ・LiDAR観測を生成してポリシーに戻すため、閉ループ評価に利用できる。Transfer-Autoがオフラインの多視点クリップ生成に向くのに対し、Sim-Autoは逐次的な相互作用を評価する用途に位置づけられる。
ロボット向けには、Cosmos3-Nano-Sim-Transferが深度動画とプロンプトから、形状・動きを保ちながら照明、テクスチャ、背景の異なるRGB動画を生成する。ロボット実演では、アクション、状態、手首カメラ映像を維持したまま、第三者視点の外観を変える用途が示されている。Cosmos3-Nano-Sim-Bimanualは、シーンとロボットアクションから次の視覚観測を生成し、YAMとAgiBotの両腕ロボット構成に対応する。制御主体は学習ポリシーでも、人間が操作するジョイスティックでもよい。
手術シミュレーションでは、組織変形や物理的相互作用を明示的にモデル化する代わりに、同期した手術動画とロボット運動学から視覚ダイナミクスを学ぶ生成的アプローチが提示される。Cosmos3-H-Embodied-NanoはOpen-H-Embodimentで追加学習され、ロボットアクションからの動画生成、動画からのアクション予測、または両者の同時生成を行う。初期RGBフレーム、タスクプロンプト、直近16個の実行済みアクション、その後のロボットアクションが入力となる。因果的な少ステップモデルCosmos3-H-Dreamsは、ライブのロボット運動学からフレームを生成し、人間または学習済みポリシーによる閉ループ評価を可能にする。
Cosmos NIMによる推論配備とメモリー設計
Cosmos NIMは、最適化済みコンテナとアプリケーションAPIを通じて、CosmosモデルのGPU推論を配備する選択肢として説明されている。量子化、投機的デコーディング、キャッシュ、トークン枝刈り、KVキャッシュを考慮したルーティングなどを活用し、記事ではH200上の投機的デコーディングについて、平均でおよそ2～3倍の速度向上を報告している。また、ファインチューニング済みCosmosチェックポイントの配信や、ライブストリームのストリーミングVLM推論にも対応し、イベント応答のレイテンシーを10分の1にすることが可能としている。
必要メモリーはモデルとタスク、精度設定によって大きく異なる。推論（Reasoning）では、Cosmos3-EdgeがBF16で16 GiB、FP8で14.5 GiB、Cosmos3-Nanoが両精度で23.1 GiB、Cosmos3-SuperがBF16で135 GiB、FP8で67 GiBを要する。生成（Generation）のCosmos3-NanoはBF16で58 GiB、FP8で44 GiB、FP8とオフロードの併用で31 GiB。Cosmos3-Superでは同じ順に150、93、38 GiBである。したがって、生成用途では精度変更やオフロードが搭載GPUの要件を左右する一方、推論と生成の必要量を同一視してはならない。
起動手順では、Linux上にNVIDIAドライバー、Docker、NVIDIA Container Toolkitを用意し、NGC APIキーを設定する。例ではnvcr.io/nim/nvidia/cosmos3:2.0.0を使い、GPU 0でNano Generatorを起動する。コンテナの準備完了は/v1/health/ready、選択モデルとプロファイルの確認は/v1/metadataで行える。起動時にはレイテンシー優先かスループット優先かを選ぶ。レイテンシー設定は単一リクエストの完了を優先し、対応する複数GPU構成ではGPUを同一リクエストに使う。スループット設定は独立したレプリカによる並列処理に適し、効果を得るには同時リクエストが必要となる。レイテンシー設定は1、2、4、8 GPU、スループット設定は対応する2、4、8 GPU構成が対象であり、単一GPUの起動例でプロファイルだけをスループットに変更すると選択に失敗する。
開発者・エンジニア視点での考察
-
オフライン生成と閉ループ生成を分けて評価する。 Transfer-Autoは多視点クリップをまとめて生成するため、天候や照明を変えたデータセット作成に向く。一方、Sim-Autoは制御入力に応じて観測を逐次生成する設計である。データ拡張とポリシーの相互作用評価では、生成方式の違いを踏まえ、用途ごとに評価指標と実行時間を分けるべきだ。
-
センサー間の意味的・時間的整合性をテストに組み込む。 記事が示す成功確認は、出力ファイルの存在だけではない。LiDAR値の有限性、WSM制御との整合、カメラビュー間の一貫性まで検証する。開発パイプラインでは、これらを自動テストにし、異常値やセンサー間のずれを学習データ化する前に検出するのが実務的である。
-
GPU選定はモデル名ではなくタスク・精度・同時実行条件で行う。 同じCosmos3-Nanoでも、生成時の必要メモリーはBF16の58 GiBから、FP8とオフロード併用時の31 GiBまで変わる。加えて、NIMのプロファイルはGPU数とリクエスト負荷に依存する。導入前に、必要な品質、ピークメモリー、レイテンシー、同時処理数を実測し、選んだ精度とプロファイルを設定として固定することが重要だ。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
