NVIDIA Vera CPUがAIファクトリのスループットを劇的に向上させ、エージェントワークロードを加速
NVIDIA Vera CPUの革新的なアーキテクチャと設計思想
NVIDIAは、AIワークロード、特にエージェントAIと強化学習（RL）の加速に特化した次世代データセンターCPU「NVIDIA Vera CPU」を発表しました。このVera CPUは、エージェントワークロードがGPU推論の周りで発生するツール呼び出し、サンドボックス実行、データ処理、オーケストレーションといったCPU集約的なタスクに起因するボトルネックを解消するために設計されています。
Vera CPUの中核を成すのは、NVIDIAが独自に設計した88基の「Olympus」コアです。これはNVIDIA初の完全にカスタムなデータセンターCPUコアであり、Armv9.2命令セットをサポートしています。 Olympusコアは、分岐の多いコード、Pythonランタイム、ツール呼び出し、サンドボックス実行といった現代のデータセンターワークロードに最適化されています。 さらに、空間マルチスレッド（コアあたり2スレッド、合計176スレッド）をサポートし、高い並行処理能力を提供します。
アーキテクチャ面では、Vera CPUはチップレットベースのデザインを採用していますが、88基のCPUコア全てが単一のコンピュートチップレット上に統合されています。これにより、NUMA（Non-Uniform Memory Access）ドメインが不要となり、全てのCPUコアが互いに、そしてメモリコントローラなどのリソースに均一かつ高速にアクセスできるため、予測可能な低レイテンシと一貫したスループットを維持します。 第二世代のNVIDIA Scalable Coherency Fabric (SCF) は、これら全てのコア、キャッシュ、メモリ、I/O、そしてNVLink-C2Cを単一のコンピュートダイ上で統合し、3.4 TB/sのバイセクショナル帯域幅を提供します。 また、グラフ解析やエージェントのメモリ走査で一般的な間接メモリアクセスパターン向けに、革新的なグラフプリフェッチャーも搭載されています。
エージェントワークロード性能の飛躍的向上とAIファクトリへの影響
NVIDIA Vera CPUは、エージェントAIや強化学習に特化した設計により、従来のCPUアーキテクチャと比較して大幅な性能向上を実現しています。具体的には、エージェントのサンドボックス環境において、従来のx86アーキテクチャよりも最大で1.8倍高いパフォーマンスを提供します。 また、グラフ走査ワークロードでは、x86ベースのアーキテクチャと比較して3倍以上の性能を発揮します。
この性能向上は、Vera CPUの高性能なメモリサブシステムによって支えられています。Vera CPUは最大1.2 TB/sのLPDDR5Xメモリ帯域幅を誇り、負荷がかかった状態でもピーク帯域幅の90%以上を維持できます。 さらに、x86 CPUと比較してピークメモリレイテンシを40%低減し、Olympusコアがデータ検索、分析、サンドボックス実行、オーケストレーションを通じて常に効率的にデータを受け取れるようにします。 また、最大1.5 TBのメモリ容量を提供し、これはNVIDIA Grace CPUの約3倍に相当します。
Vera CPUは、NVIDIA Vera RubinプラットフォームのホストCPUとしても機能し、第二世代のNVIDIA NVLink-C2Cインターコネクト技術を通じて、Rubin GPUと最大1.8 TB/sの一貫した帯域幅で接続されます。 これはGrace CPUのNVLink帯域幅の2倍にあたり、CPUとGPU間で統一されたメモリ空間を実現し、データ転送のボトルネックを解消します。 この高速連携により、AIファクトリ全体のスループットが向上し、GPUがCPUの処理待ちでアイドル状態になることを防ぎ、エージェントがより迅速に応答し、トレーニングループが滞りなく進行することを可能にします。 AIファクトリの経済性が「コアあたりドル」から「ワットあたり、ドルあたりのAIファクトリ出力（トークンあたりドル）」へと移行する中で、Vera CPUはより効率的なAIワークロード実行を可能にし、総所有コストの削減に貢献します。
開発者・エンジニア視点での考察
-
エージェントワークロードの設計最適化の転換: Vera CPUの登場により、開発者はエージェントが実行するツール呼び出し、コードサンドボックス、データ処理ロジックなど、CPU集中型タスクの最適化により注力できるようになります。GPUオフロードだけでなく、CPU側の効率的な並行処理と低レイテンシメモリアクセスを前提とした、より複雑で多段階のエージェント思考プロセスやリアクティブなシステム設計が可能になるでしょう。
-
AIファクトリインフラの新たな設計指針: エージェントAIと強化学習の導入を検討する企業にとって、Vera CPUはAIファクトリのインフラストラクチャ設計におけるCPU選択の新たな基準となります。GPUとCPU間のボトルネックが大幅に軽減されるため、GPUの稼働率を最大化するためのCPU選定が、単なるコア数や周波数だけでなく、Veraのような専用設計CPUの採用へとシフトし、エンドツーエンドのスループットとコスト効率を最大化する統合システム設計が重要になります。
-
NVLink-C2CによるCPU-GPUコヒーレンシの活用: NVLink-C2CによるCPUとGPU間の1.8TB/sという超高速かつコヒーレントなメモリ接続は、大規模なデータセットやKVキャッシュのオフロード、複雑なHPCワークロードにおいて、開発者がCPUとGPUのメモリを統一的に扱うことを可能にします。これにより、データ転送のオーケストレーションが簡素化され、より高度なGPUオフロード戦略や、CPU-GPU協調によるハイブリッドAIモデルの性能最適化が期待できます。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
