cuBLASの新FP64アルゴリズム:精度を保ちつつ科学シミュレーションを高速化


ADVERTISEMENT

FP64精度を整数Tensor Coreで実現する仕組み

CUDA Toolkit 13.4.2のcuBLASは、倍精度行列積DGEMM・複素倍精度行列積ZGEMM向けに、Ozaki-IIと2Mアルゴリズムを導入した。狙いはFP64演算を低精度化して誤差を許容することではなく、入力を整数表現へ分解し、整数Tensor Coreで演算した結果を再構成することで、ネイティブFP64相当の精度を保ちながら高いスループットを活用することにある。cuBLASのAutomatic Dynamic Precision(ADP)フレームワークが実行時に必要なパラメーターを選択し、アプリケーション側のコード変更なしでDGEMM・ZGEMMを高速化する。

Ozaki-IとOzaki-IIは、入力行列の指数を揃え、共有指数を持つ可変長整数表現に変換するところまでは共通する。違いは大きな整数同士の積の計算法だ。Ozaki-Iは整数を8ビットのスライスに分割し、AとBのスライスを三角形状に組み合わせて積和を計算するため、Tensor Core GEMMの回数はスライス数の二乗に応じて増える。

一方、Ozaki-IIは中国剰余定理(CRT)に基づく。量子化したオペランドを互いに素な小さな整数の集合で剰余化し、各法について整数GEMMを1回実行した後、剰余から積を復元する。この方法ではGEMM回数が法の数に対して線形に増える。FP64相当の精度を狙う場合、Ozaki-IはOzaki-IIのおよそ2倍のTensor Core GEMMを要するという。Ozaki-IIは剰余ペアを多数扱うため一見ワークスペースが膨らむが、cuBLASはCTK 13.3でOzaki-Iに導入したメモリー節約型のタイル処理を適用し、各GEMM後に剰余ペアを破棄する。

数値的な安全策も重要だ。必要な仮数ビット数がライブラリー既定値またはユーザー指定の上限を超えた場合、cuBLASはネイティブFP64 MMAを使う経路へフォールバックする。ユーザーはcublasSetEmulationStrategy()や手動の仮数ビット指定を通じて動作を調整できる。さらに、NVIDIA Rubinでは符号・絶対値形式の12ビット整数TI16(範囲[-2047, +2047])とtcgen05.mmaがOzaki演算に利用される。記事ではcompute capability 10.7のRubin GPUで、cuBLAS 13.4がこの形式をOzaki-I・Ozaki-IIの高速化に使うとしている。

DGEMM・ZGEMMと実アプリケーションでの性能

DGEMMでは、Ozaki-IIがネイティブFP64に対してNVIDIA VR NVL72で最大5.5倍、GB200で最大3.9倍の高速化を示した。GB200ではOzaki-Iと比べても2倍高速という。測定されたピーク性能はVR NVL72で最大175 TFLOPS、GB200で147 TFLOPS、RTX PRO 6000で37 TFLOPS。GB200では小さな行列サイズでADPがOzaki-IIに利点がないと判断し、ネイティブFP64へ切り替える一方、測定した最大サイズでは3.9倍に達する。RTX PRO 6000 Blackwell Server Editionでは、測定対象の最小サイズでも10倍、最大サイズで23倍の高速化が報告された。上限は整数Tensor CoreとネイティブFP64演算器の相対スループットに依存するため、製品間で効果の幅が大きい。

量子化学のCCSDケーススタディでは、Ozaki-II DGEMMを使ったエンドツーエンド性能が、FP64モードでVR NVL72においてネイティブFP64比2倍、GB200で1.4倍。アプリケーション固有の混合精度モードでは、それぞれ5倍と3.5倍となる。別のGPU世代比較では、完全FP64品質を保証するESCを用いた場合、RubinはA100に対して合計4.7倍、仮数ビットを32ビットに固定した混合精度では11.5倍の速度向上と報告されている。後者ではエネルギー誤差が10⁻¹⁰ Eh未満で、振幅方程式の残差を10⁻⁹以下に収束できるとしている。完全FP64品質ではネイティブFP64と区別できない結果となり、CCSD相関エネルギーの誤差は10⁻¹⁴ Eh未満だった。なお、これらは異なる比較条件の結果であり、同一のベンチマークとして混同すべきではない。

複素行列積では、従来の4M法が複素ZGEMMを4回の実GEMMとして計算する。一般的な3M法は実GEMMを3回に減らすが、浮動小数点演算では加算・減算や中間値の再構成が数値安定性を損なう可能性がある。Ozaki-IIでは演算が正確な整数演算として行われるため、cuBLASは2M法を適用し、複素積を2回の実GEMMで計算する。結果として、同サイズの実GEMMのおよそ2倍の計算コストでZGEMMを実行できるとしている。GB200上のZGEMMでは、2MによるネイティブCFP64比5倍の高速化が示された。

材料科学コードBerkeleyGWのEpsilonモジュールでは、Si998参照問題の行列要素が、ネイティブZGEMM、ADPを使うOzaki-II 2M、仮数ビットを53に設定したOzaki-II 2Mの各構成で、小数点以下10桁まで一致した。エンドツーエンドでは、53ビット設定がネイティブZGEMM比でGB200上3.9倍、VR NVL72上6.6倍。Blackwell上のネイティブZGEMMからVR NVL72上のOzaki-II 2M・53ビット設定への比較では5.8倍だった。測定は32 GPU構成で行われている。ここで示された倍率はGPU単体のGEMM性能だけでなく、各アプリケーションの計算経路全体に対する結果である。

導入時に確認したい精度・性能の境界

この方式の実務上の価値は、精度保証と高速化を単純な二者択一にしないことにある。ただし、速度向上はすべての形状・ハードウェア・アプリケーションで一様ではない。小規模行列では変換や再構成のコストが利得を相殺し、ADPがネイティブFP64を選ぶ場合がある。また、整数Tensor Coreの性能とFP64演算器の相対性能がGPUごとに異なるため、あるGPUで得た倍率を別製品へそのまま外挿できない。

アプリケーション全体の高速化も、行列積が総実行時間に占める割合に左右される。CCSDやBerkeleyGWの結果は、GEMM単体のベンチマークとは別に実ワークロードで評価する必要性を示している。さらに、ADPによる自動選択、固定の仮数ビット予算、ネイティブFP64へのフォールバックは異なる運用選択肢であり、必要な数値品質と再現性要件に合わせて検証すべきだ。導入時は、CUDA Toolkit 13.4.2のcuBLASを利用し、ドキュメントとGitHubのcuBLAS Emulationサンプルを手掛かりに、自身の行列サイズと精度要件で比較評価することが推奨される。

開発者・エンジニア視点での考察

  1. GEMM単体ではなく、実アプリケーションの誤差・時間を同時に計測する。 ADPと固定仮数ビット設定を比較し、行列要素の差だけでなく、CCSDの相関エネルギーや残差、あるいは科学コード固有の収束指標まで検証すると、許容可能な性能・精度の境界を定めやすい。記事のCCSD・BerkeleyGWの結果は、精度評価の単位がカーネル出力だけでは不十分であることを示している。

  2. 行列形状ごとの経路選択をベンチマークに含める。 Ozaki-IIが常に速いとは限らず、GB200では小さな形状がネイティブFP64へ振り分けられる。M・N・Kの分布やバッチ構成が異なる実運用データで、ADPの自動選択を含むエンドツーエンドの性能を測り、平均値だけでなく形状別の挙動も確認するのが有効だ。

  3. 精度ポリシーと性能ポリシーを運用設定として明示する。 自動精度選択は導入の負担を減らす一方、ユーザー指定の最大仮数ビットや固定ビット予算は速度・再現性の管理に役立つ。フォールバックの発生も含めて実行条件を記録し、精度要件を満たさない場合にネイティブFP64へ移行できることを検証しておくと、本番運用での予測可能性が高まる。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT