NVIDIA Cosmos Data Factory:2つのプロンプトで物理AI向け学習データを構築
2つのプロンプトを入口に、データ生成を実行可能なワークフローへ
NVIDIA Cosmos Data Factory(CDF)は、物理AI向けデータのキュレーション、処理、合成データ生成を支援するクラウドネイティブな基盤として紹介されている。5つの参照ブループリントと6つの組み合わせ可能なエージェントスキルで構成され、コーディングエージェントを介して、データ準備から生成、検証、アノテーションまでを実行する。記事が示す「2つのプロンプト」は、単なる自然言語インターフェースではなく、環境構築とユースケース実行を分けた運用手順だ。
最初のプロンプトは、CDF Orchestrationリポジトリを取得し、preflightとsetupを実行するもの。preflightは環境を変更せずに不足要件を検査し、setupはブループリントの実行環境を整える。2番目のプロンプトでは、対象データ、生成条件、出力先などを指定してユースケースを実行する。Orchestrationスキルがワークフローの各段階を調整し、必要なサービスをデプロイしてクラスタ上の実行を管理するため、複数の処理を手作業で個別接続する負担を抑える設計になっている。
この枠組みは、生成モデルを呼び出すだけではない。参照データの検索や構造化、生成物の品質評価、アノテーションを同じデータ工程の中に組み込む。学習用データの不足を「追加収集」だけで解決するのではなく、既存データの変換や希少ケースの生成を制御可能な計算ジョブとして扱う点が、CDFの技術的な位置づけである。
5つのブループリントを支える検索・生成・評価の連鎖
5つのブループリントは、用途ごとに異なる入力と生成方式を採用する。自動運転向けデータ生成では、Cosmos Curatorが動画入力のメタデータを抽出し、Cosmos Dataset Searchが埋め込みを用いて関連シーンを検索する。取得した動画にスタイル変換を適用し、Cosmos Evaluatorが物理的妥当性を確認する。雨・雪・霧などの条件を指定しながら、元シーンのレイアウトと動きを維持する構成だ。
人物画像の属性拡張では、衣服の種類、色、アクセサリーなどの指定属性をLLMが構造化プロンプトに変換し、画像のバリエーションを生成する。Evaluatorが属性の反映を確認した後、衣服属性や人物検索向けクエリを自動付与する。動画拡張では、VLMが元動画を記述し、要求された天候・照明・環境条件と結合した構造化プロンプトを作成する。生成後は、元動画にない動作アーティファクト、指定条件の出現、動きの物理的妥当性を評価し、検出・追跡・キャプションを付与する。
希少イベント生成は画像を入力とし、火災、転倒、万引きなどのイベントを動画化する。シーンの視点とレイアウトを保つよう生成し、イベントの成立と動きの妥当性を評価する。失敗したクリップは再試行し、合格したものに検出、トラック、キャプション、意味アノテーションを付与する。欠陥画像生成では、クリーンな検査画像または3D USDアセットを入力に使う。3D資産の場合はIsaac Simが検査画像とマスクをレンダリングし、欠陥生成では周辺部品を保ちながら指定された欠陥を合成する。生成物に加え、参照元と生成設定を追跡できるマニフェストも得られる。
ベンチマークと適用上の前提:コストは計算資源だけでは決まらない
記事では、8基のNVIDIA RTX PRO 6000 Blackwell Series GPUを搭載したクラウドサーバーでの日次処理量を測定している。サーバー費用は約40ドル/時、960ドル/日として算定され、出力数で割ったGPU計算費用が示された。自動運転シナリオ生成は約130クリップ/日、1クリップ当たり2.66ドルで、道路上でシナリオを収集するフリート要員の費用として示された125ドルに対し約45倍安い。画像属性拡張は注釈付き画像ペア約42,649組/日、1組当たり0.023ドルで、購入データの平均0.25ドルに対し約10倍安い。動画拡張は約5分の注釈付きクリップを約305本/日、1本当たり3.15ドルで生成し、購入データ平均22ドルに対して約7倍安い。
欠陥画像生成では、データセット構築期間を2カ月から1日に短縮し、60倍の速度向上を報告している。イベント動画生成は約4分/クリップで、注釈付きクリップ約384本/日、1本当たり2.50ドルとされる。これらは、対象データを実地収集する場合との費用・時間差を具体化する一方、記事は計算費用のみを対象と明記している。元データの準備、環境構築、エージェント利用、ストレージ、人手レビューなどの費用は別途加わり得るため、GPU単価だけで総所有コストを評価するのは不十分だ。
運用面では、6つのコアスキルを個別に使うか、組み合わせて独自ワークフローを構成できる。Auto Labelingは検出・追跡・キャプション・シーン理解、AnomalyGenは少数例とマスクを利用した欠陥画像生成、Augmentationは画像・動画の視覚的変化、Curation and Retrievalは大規模データからの検索、SimulationはIsaac SimとOmniverse Replicatorによる3Dシーンのフォトリアルなラベル付き画像生成、Orchestrationはブループリントのデプロイとスケーリングを担う。また、Cosmos Curatorはマルチカメラ動画、IMU、GPSに加えて初期段階のLiDAR入力に対応し、Cosmos Dataset Searchはメタデータ、シーン意味情報、空間関係、時間的挙動を使うマルチ埋め込み検索と適応的なエージェント再ランキングを提供するとされる。後者は早期アクセスであり、対応センサーや機能の成熟度を踏まえた検証が必要になる。
開発者・エンジニア視点での考察
-
生成品質を評価ゲートとして設計する。 生成条件を指定するだけでなく、属性の成立、物理的妥当性、元動画にない動作アーティファクトなどを検査し、失敗時に再試行する仕組みがブループリントに含まれる。独自データへ適用する際は、評価基準を学習目的に対応づけ、合格率や再試行回数もデータ品質指標として記録すると、生成量だけを追う運用を避けやすい。
-
プロンプトの前に入力・出力契約を定義する。 入力バケット、対象データの形式、生成条件、出力先に加え、検証結果や生成設定の保存先を明確にする。特に欠陥生成のマニフェストのように、生成物を元画像・3D資産・設定へ追跡できる構造は、データ監査や再生成に有用だ。プロンプトを短く保つ場合でも、データスキーマと再現性の要件は別途固定するのが望ましい。
-
ベンチマークを自環境の単位コストへ換算する。 公開された処理量と単価は特定の8 GPUクラウドサーバーでの測定であり、自社のデータ分布、解像度、クリップ長、評価設定にそのまま適用できるとは限らない。まず代表的な入力でスループット、失敗・再試行率、人手確認時間、保存容量を計測し、GPU計算費に前処理やレビューを加えた「採用可能な学習サンプル当たりコスト」で比較すべきだ。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


