NVIDIA Groq 3 LPXとVera Rubinプラットフォーム：決定論的実行による高効率・高インタラクティブ推論の実現
NVIDIA Groq 3 LPXの革新的なアーキテクチャと決定論的実行
NVIDIA Groq 3 LPXは、NVIDIA Vera Rubinプラットフォーム向けに設計されたラックスケール推論アクセラレータであり、特にエージェントAIワークロードの低レイテンシと大規模コンテキストの要求に応えることを目的としています。このシステムは、256個の相互接続されたNVIDIA Groq 3 LPU (Language Processing Unit) アクセラレータを中心に構築されています。LPXのアーキテクチャは、決定論的実行、高帯域幅のオンチップSRAM、そして厳密に調整されたスケールアップ通信を重視しており、これにより同時実行性が高まり、リクエストの形状が変化してもインタラクティブな推論の応答性を維持することが可能です。
各LPUは、コンパイラによって管理される500MBのSRAM、320バイトのベクトル処理ユニット、および112Gbpsで動作する96のチップ間リンクを備えています。この決定論的実行モデルでは、コンパイラは256個のLPUにわたる個々の計算ユニット、合計128GBのSRAMベースメモリ、およびチップ間リンクを完全に可視化します。これにより、コンパイラによるワークロードスケジューリングと、計算とプロセッサ間通信のきめ細かなオーバーラップが可能となり、エージェントAIに不可欠な高速で予測可能なトークン生成を実現します。従来のアーキテクチャがピークの演算スループットのみを最適化していたのに対し、LPUは決定論的実行、高オンチップメモリ帯域幅、および明示的なデータ移動に重点を置いています。
NVIDIA Vera Rubinプラットフォームとの協調動作と性能ベンチマーク
NVIDIA Groq 3 LPXは、NVIDIA Vera Rubin NVL72と共同で設計され、ヘテロジニアスな推論アーキテクチャを形成します。この連携により、システムは高スループットと低レイテンシの両方を同時に実現し、従来のAI推論アーキテクチャが抱えていたスループットとインタラクティビティのトレードオフを解消します。LPXはデコードループのレイテンシに敏感な部分、具体的にはFFN（Feed-Forward Network）やMoE（Mixture-of-Experts）の実行、および投機的デコーディングにおけるドラフト生成を高速化します。一方、Rubin GPUはプレフィル、デコードアテンション、およびトークン検証などの高スループットタスクと大規模モデル実行を処理します。
この組み合わせにより、Vera RubinとLPXは、テラパラメータモデルに対してメガワットあたり最大35倍高い推論スループット、および10倍の収益機会をもたらします。Artificial Analysisによるベンチマークでは、Gemma 4 31Bモデルが100Kコンテキストで毎秒3,431トークンの出力速度を達成し、コンテキスト長によるレイテンシの変動が最小限であることが示されました。また、SPEED-Benchコーディングベンチマークでは、Gemma 4 31Bモデルが中央値で毎秒4,767トークンのコーディング応答を生成し、タスクの20%は毎秒5,500トークンを超えました。これは、今日の一般的なエージェント型コーディングツールと比較して、5,000トークンの応答に約1.5秒しかかからないことを意味し、約50秒かかる従来の方法と比較して大幅な速度向上です。
エージェントAIワークロードにおける革新的なインタラクティビティ
エージェントAIシステムは、マルチターン推論によって特徴付けられ、ターンごとにエージェントの出力が継続的に成長するコンテキストに追加されます。このコンテキストは、数百ターンに及ぶエージェントセッション全体で数十万トークンにまで成長する可能性があります。NVIDIA Groq 3 LPXは、この長期コンテキストにおける高インタラクティビティを可能にするように設計されており、コンパイラによってスケジュールされたワークロードプランニングを通じて実現されます。これには、ラック内のチップ間 (C2C) ネットワーキングと、計算とプロセッサ間通信を高度にオーバーラップさせる能力が含まれます。
LPXとVera Rubin NVL72のペアリングにより、標準的なプレフィル-デコード分離、アテンション-FFN分離、外部ドラフターによる投機的デコーディングなど、複数のサービス構成が可能です。例えば、プレフィル-デコード分離では、Vera Rubin NVL72がプレフィルを処理し、KVキャッシュをLPXに渡し、LPXはSRAMに保持された重みとKVキャッシュを使用してデコードステップ全体を実行します。LPXの低レイテンシアーキテクチャはドラフトトークンを迅速に生成し、GPUは検証タスクにおいて効率性を維持します。この相補的なアプローチは、AIファクトリーがテラパラメータモデルと数百万トークンのコンテキストで、低レイテンシと効率的な経済性を両立させるための鍵となります。
開発者・エンジニア視点での考察
-
開発者は、NVIDIA Groq 3 LPXとVera Rubinのハイブリッド構成を活用することで、推論パイプラインのボトルネックを特定し、特定のレイテンシセンシティブなステージ（例：FFN、MoE実行、投機的デコーディングにおけるドラフト生成）をGroq 3 LPXにオフロードすることで、全体的なシステム応答性を劇的に改善できる。これにより、リアルタイム性が要求されるエージェントAIやインタラクティブなアプリケーションのユーザー体験を最適化するための新たな設計パターンが生まれるだろう。
-
LPXの決定論的実行モデルとコンパイラによる綿密な制御は、エージェントAIのような多段階かつインタラクティブなワークロードにおいて、予測可能なレイテンシと高い信頼性を必要とするアプリケーション開発に貢献する。これは、大規模な会話型AI、自律システム、あるいは金融取引など、厳格なパフォーマンス要件を持つシステムにとって特に重要であり、開発者は予測不可能なジッターに悩まされることなく、より安定したサービスを設計できるようになる。
-
投機的デコーディングにおけるLPXのドラフト生成エンジンとしての活用は、GPUの検証能力と組み合わせることで、単一の汎用プロセッサに依存するのではなく、より複雑な推論アーキテクチャ全体で最適なパフォーマンスを達成するための新しいパラダイムを提示する。開発者はこのヘテロジニアスな協調アーキテクチャの原則を模倣し、異なる種類のアクセラレータやコンピュートリソースを組み合わせて特定のタスクを最適化し、AIワークロード全体の効率と性能を最大化する方法を模索できる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
