NVIDIA Vera Rubin NVL72がAIエージェントの新時代を拓く：Together.aiが「ThunderKittens」でその性能を実証
Together.aiは、同社の先進的なAIワークロードである「ThunderKittens」が、NVIDIAの最新かつ最も強力なAIインフラストストラクチャであるNVIDIA Vera Rubin NVL72上で稼働を開始したことを発表しました。この動きは、特にエージェントAIワークロードにおける次世代の計算能力と効率性を追求する業界の動向を強く示唆しています。
Vera Rubin NVL72：エージェントAIのための革新的なアーキテクチャ
NVIDIA Vera Rubin NVL72は、エージェントAIの複雑な要件に対応するために特別に設計された、ラック・スケールAIスーパーコンピューティングプラットフォームです。このシステムは、72基のRubin GPUと36基のVera CPUを単一のNVLinkドメインに統合し、大規模なAIワークロードに対して比類のない計算密度と効率を提供します。そのアーキテクチャは、NVLink 6インターコネクト技術により、GPU間の高帯域幅と低遅延通信を実現し、大規模なエキスパート並列処理や分散KVキャッシュなどの技術を可能にしています。これにより、モデル並列トレーニングと推論が単一ノードでの実行に近い挙動を示し、通信オーバーヘッドを大幅に削減します。また、NVFP4量子化により、メモリフットプリントを削減し、出力品質を損なうことなくスループットを向上させています。
エージェントAIワークロードにおける画期的な性能と効率
NVIDIA Vera Rubin NVL72は、特にエージェントAIワークロードにおいて、その卓越した性能と効率で際立っています。NVIDIAが行った測定データによると、Vera Rubin NVL72システムは、SemiAnalysis AgentXワークロードを用いた評価において、NVIDIA GB300 NVL72と比較して、ワットあたり最大30倍高いスループットと、35倍低いトークンコストを実現しています。 このAgentXワークロードは、実際のコンテキストの増加、ツール呼び出し、サブエージェントの生成を保持する、現実世界のエージェント・コーディングセッションを再現するものです。これにより、電力制約のあるAIファクトリーでは、同じエネルギー消費量で30倍以上のエージェント作業が可能になります。 これは、AIエージェントが金融データベースの照会、ニュース検索、サブエージェントの呼び出しなどを繰り返して、チャットリクエストよりも15倍多くのトークンを消費するというOpenRouterのデータが示すように、エージェントAIワークロードのトークン需要が非常に高い現状に対応するものです。
極限のコデザインによる最適化
Vera Rubin NVL72の性能向上は、プラットフォームのあらゆる層にわたる極限のコデザインによって実現されています。これは、コンテキスト処理（プリフィル）と応答生成（デコード）を分離し、それぞれを独立してスケールさせる「Disaggregated Serving」や、プリフィルGPUとデコードGPUがトークンを生成する速度を同期させて効率を最大化する「Rate Matching」など、最新の推論最適化技術を可能にします。 さらに、第6世代のNVLinkスイッチは、市販のイーサネットと比較して10倍高いパケットレートと3倍低いレイテンシを提供し、大規模なAIインフラストラクチャにおけるデータ転送のボトルネックを解消します。 このような統合的な設計は、複雑なAIモデルのトレーニングと推論において、かつてないスケールと効率性をもたらします。
開発者・エンジニア視点での考察
-
エージェントAI特化型インフラの活用戦略: Vera Rubin NVL72はエージェントAIワークロードに最適化されており、その高いトークンスループットと低トークンコストは、複雑な推論チェーンや長時間にわたるエージェントの実行において、運用コストを劇的に削減し、より多くのインタラクティブなセッションを可能にします。開発者は、このプラットフォームを最大限に活用するために、エージェントの行動計画、ツール利用、長期コンテキスト管理などの設計段階から、その特性を考慮に入れるべきです。
-
ラック・スケールコンピューティングの最適化: 72基のGPUと36基のCPUが単一のNVLinkドメインで連携するVera Rubin NVL72のアーキテクチャは、大規模モデルの分散学習や推論において、ノード間通信のオーバーヘッドを最小限に抑えます。モデル並列化、MoE (Mixture of Experts) ルーティング、KVキャッシュ管理など、HBM4を活用したラック内高速メモリと高帯域幅を最大限に利用するようモデルとアプリケーションを設計することで、収束までの時間を短縮し、リアルタイム推論のレイテンシを改善できます。
-
効率性と持続可能性への貢献: Vera Rubin NVL72がGB300 NVL72と比較してワットあたり最大30倍の効率向上を達成している点は、AIファクトリーの電力消費とコスト削減に直結します。開発者は、モデルの量子化（NVFP4など）、ディスアグリゲーテッド・サービング、レートマッチングといったプラットフォームレベルの最適化技術を意識し、エネルギー効率の高いAIソリューションの設計とデプロイメントを推進することが、持続可能なAI開発において重要となります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
