NVIDIA DGX SparkにおけるMoE推論を高速化する3つの手法
1. MoE推論におけるボトルネックの特定とHummingカーネルの導入
バッチサイズ1でのデコード処理では、モデルの重みを読み込むメモリ帯域が性能の主要なボトルネックとなります。特に混合専門家（MoE）モデルの計算と、ボキャブラリー全体に対するスコアを算出する出力層プロジェクション（LMヘッド）が実行時間を大きく支配しています。
従来の FlashInfer MXFP4 バックエンドの代わりに Humming カーネルライブラリ (humming-kernels) を導入することで、この課題に対処できます。Humming は、NVIDIA CUDA Runtime Compilation (NVRTC) を活用し、実際の M/N/K 次元、データ型、GPU アーキテクチャに特化した CUBIN を実行時（JIT）に生成・キャッシュします。これにより、特定のモーダル形状（例: moe_intermediate_size = 768）に最適化された軽量かつ高速なカーネル実行が可能となり、デコードスループットがベースライン比で 9.3% 向上（TPOT: 27.71ms → 25.35ms）します。
2. オンラインFP8量子化によるLMヘッドの最適化
モデルのチェックポイント内において、LMヘッドは通常 BF16 で保持されており、語彙次元が非常に大きいため（例: 157,184 × 2,560）、各生成トークンごとに全ウェイトの読み込みが発生してメモリ帯域を圧迫します。
この負荷を軽減するため、モデルロード時に動的な FP8量子化 をLMヘッドにのみ適用する設定（SGLANG_ENABLE_FP8_LM_HEAD=1）を有効化します。これにより、LMヘッドのウェイト読み込み量が実質的に半減します。ベースラインの FP32 出力パスと比較して、Humming MoE と組み合わせることで、デコードスループットはベースライン比 21.7% 増（TPOT: 22.76ms）へとさらに向上します。
3. NEXTNレイヤーを用いたマルチトークン予測（MTP）スペキュラティブデコーディング
デコードステップごとのコスト削減に加え、ステップ数自体を削減するアプローチとして、モデルに内蔵された NEXTN 予測レイヤー をドラフトモデルとして活用する手法があります。
追加の学習やダウンロードなしで、3つのドラフトステップと4トークンの検証ウィンドウを用いたマルチトークン予測（MTP）を実行可能です。バッチサイズ1の環境下では KV キャッシュの読み込みコストが小さいため、主にMoEの専門家活性化数（通常デコード時の1トークン8エキスパートに対し、検証時は最大32エキスパート）がオーバーヘッドとなりますが、合成ワークロードにおいて平均受容長（Accept Length）が 3.90 に達し、スループットを最大 185.1% 向上させることが実証されています。
実環境のベンチマーク（GSM8Kテストセット全1,319問）においても、これら3つの手法を統合することで、精度（Accuracy）を維持したまま、デコードスループットが 42.5% 向上し、平均レイテンシが 24.5% 削減されました。
開発者・エンジニア視点での考察
-
コンパイル手法の違いによるビルド時間の劇的な短縮: Humming カーネルライブラリは JIT コンパイルにより個別のカーネルを数秒単位で生成するため、数百のターゲットを Ninja で一括コンパイルして数十分を要していた従来の手法に比べ、開発イテレーションの回転率を大幅に引き上げます。
-
複数最適化のコンポジションにおけるインターフェース要件の厳守: オンラインFP8 LMヘッドとMTPを同時に有効化する場合、ドラフトモデル側が重みテンソルだけでなく「LMヘッドモジュール全体」をターゲットと共有するインターフェース設計が不可欠です。これが欠如すると、フレームワークが暗黙的にフォールバックを起こして性能が劣化するため、デプロイ時のコンフィグ検証の自動化が極めて重要です。
-
合成ベンチマークと実ワークロードの乖離に対する注意: 繰り返しパターンの多い合成データでの最大185%超という高いスループット改善効果は、実際の推論タスク（長文の対話や複雑なCoT推論など）では出力長やサンプリングパラメータの差異により目減りします（実測の平均受容長は 2.68）。そのため、ターゲットとするユースケースに即したプロファイリングと検証が実運用では必須となります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
