Blackwell GPUで画像生成を最大4.45倍高速化:FLUX 3 Image KleinとTensorRT LLM VisualGenの最適化
NVFP4とカーネル融合で、生成パイプラインの支配項を高速化
NVIDIAは、Black Forest Labsの画像生成・編集モデル「FLUX 3 Image Klein」をTensorRT LLM VisualGenで実行する最適化手法とベンチマークを公開した。モデルは、テキスト条件付けを担うQwen3-VL-4B-Instruct、潜在表現を反復的に更新する拡散トランスフォーマー(DiT)、潜在表現のエンコード・デコードを行うオートエンコーダで構成される。Baseと蒸留版があり、Baseは品質重視、蒸留版は少ないデノイジングステップによる低遅延を狙う。
FLUX 3では、テキスト、生成対象のノイズ画像、任意の参照画像を別々のストリームとして処理し、その後、ジョイントアテンションで結合する。高解像度化に伴いアテンションの計算コストが増えるため、最適化の中心はDiTの反復推論となる。実際、単一B200・2048×2048のNVFP4構成では、全体遅延に占めるデノイジングの割合がT2IでBase 96.8%、蒸留版84.0%、I2Iでそれぞれ97.8%、89.0%だった。前処理やデコードだけを改善しても全体の短縮幅が限られることを示す。
TensorRT LLM VisualGenはBF16、FP8、NVFP4をサポートし、Blackwell上でNVFP4はBF16比でT2Iを最大1.62倍、I2Iを最大1.58倍高速化した。さらに、FlashInferのPrimsTS FP8/NVFP4 GEMMカーネルは、FLUX 3のテンソル形状に合わせた行列積とエピローグ融合を行う。対象にはSwiGLU付きGEMMや、QKV射影にQ/K正規化とRoPEを組み合わせた処理が含まれる。公開時点で、固定されたNVFP4 PrimsTSカーネルはTensorRT LLMの自動チューニングNVFP4 GEMM実装に対し、B200のT2Iで1.02~1.10倍の高速化を示した。
アテンション、キャッシュ、並列化を品質予算とともに設計する
2048×2048のNVFP4 T2Iでは、VANILLA BF16アテンションがDiTのGPUカーネル時間の約60%を占める。VisualGenは、低精度化と疎化という異なるアプローチを提供する。
量子化アテンションでは、cuDNN FP8がBaseで1.08倍、16ステップの蒸留版で1.09倍の高速化を達成し、VANILLA出力に対するLPIPSはそれぞれ0.072、0.161だった。VC-Attention FP8ではBaseが1.18倍、蒸留版が1.16倍となり、LPIPSはそれぞれ0.086、0.151。VC-Attentionの設定例では修復予算ρ=0.005を指定し、量子化誤差の大きいトークンの一部を残差補正する。速度だけでなく、生成結果との知覚的な差をLPIPSで比較して設定を選べる点が実運用上の要点となる。
疎アテンションのSol-Attentionは、τによって計算の疎性を制御する。Base、2048×2048、B200の測定では、τ=1.0で先頭16ステップを密なアテンションにすると、デノイジングとオートエンコーダデコードを合わせた処理が1.24倍高速化し、LPIPSは例により0.075、0.116だった。密なステップを12に減らすと1.30倍となる一方、LPIPSは0.151、0.140に上昇した。品質を優先するなら16ステップ、速度を優先するなら12ステップという選択肢が示されている。なお、τをさらに大きくしても、追加の速度向上は小さい一方で品質が低下した。
Cache-DiTは、デノイジングステップ間で中間トランスフォーマー出力を再利用する。重み変更や再学習を必要とせず、残差差分のしきい値で速度と出力差のバランスを調整できる。しきい値0.24では、BaseのT2Iが1024×1024で1.97倍、2048×2048で1.94倍となった。2048×2048のLPIPSは0.033。蒸留版の高速化は同解像度で1.20倍にとどまり、LPIPSは0.022だった。ステップ数の多いBaseでキャッシュ効果が大きく、蒸留版では相対的な改善幅が小さいという結果は、最適化効果がモデル設定に依存することを示している。
複数GPUでは、BaseがCFGの正負ブランチを別GPUグループに割り当て、各ブランチをUlyssesシーケンス並列で分割する。蒸留版はCFGを使わず、Ulyssesのみで処理する。8基のB200を用いた2048×2048のT2Iでは、Baseの中央値遅延が単一GPUの14.90秒から3.00秒へ、蒸留版は2.73秒から1.08秒へ短縮された。デノイジングの高速化はそれぞれ6.01倍、4.44倍だが、蒸留版では8 GPU時も生成時間の約半分がデノイジング以外に残り、エンドツーエンドの伸びを制限する。さらに1024×1024では、8 GPU構成にCUDA Graphsを追加するとBaseが1.823秒から0.809秒(2.25倍)、蒸留版が0.791秒から0.366秒(2.16倍)となった。GPU当たりの処理量が小さくなる解像度では、カーネル起動オーバーヘッドの削減が重要になる。
エンドツーエンド性能と再現時の条件
2048×2048、単一B200で、コンパイル、NVFP4とPrimsTS GEMM、Sol-Attention、Cache-DiTを組み合わせた構成は、未コンパイルのBF16 VANILLA推論に比べ、BaseのT2Iを3.46倍(22.36秒から6.46秒)、I2Iを4.45倍(54.64秒から12.28秒)高速化した。16ステップの蒸留版は最大2.34倍。単一RTX PRO 6000 Blackwell Server Editionでも、コンパイル、融合CuTe DSLカーネル、Cache-DiTの組み合わせにより1.73~3.25倍の高速化が報告されている。
ただし、これらの数値は単一の最適化による比較ではなく、複数段階を積み上げた結果である。評価条件として、Baseは50デノイジングステップ・CFGスケール3.5、蒸留版は16ステップ・CFGなしが使われた。NVFP4、量子化アテンション、疎アテンション、キャッシュはそれぞれ異なる品質影響を持つため、最終的な構成では対象解像度・T2I/I2I・モデル版に合わせた再計測が必要となる。記事のパイプライン計測は、2回のウォームアップ後に10リクエストを平均している。
再現用YAMLでは、pipeline_config.variant: nvfp4、torch_compile_config.enable: true、アテンション設定、キャッシュ設定を個別に指定できる。Sol-AttentionとCache-DiTを組み合わせる例では、tau: 1.0、disabled_until_timestep: 0.96、残差差分しきい値0.24を使用する。記事の説明では、0.96は50ステップのBaseで先頭12ステップ、16ステップの蒸留版で先頭4ステップを密に保つ設定に対応する。密な初期ステップを16にする場合は0.94を指定する。これは単純なステップ数ではなくノイズレベルのカットオフであり、スケジュールとの対応を理解して設定する必要がある。
開発者・エンジニア視点での考察
-
最初に処理時間の内訳を取り、ボトルネックに投資する。 本計測では特にBaseのデノイジングが全体の約97~98%を占める。解像度、T2I/I2I、Base/蒸留版ごとに前処理・デノイジング・デコードを分けて計測し、改善対象を選ぶべきだ。並列化後にデノイジング以外の割合が増えるように、最適化後も内訳を取り直す必要がある。
-
品質劣化を単一の総合値に隠さず、最適化段階ごとに評価する。 LPIPSは記事中でVANILLAまたはキャッシュなしの出力との知覚差を示すが、値は生成タスクや設定によって異なる。代表的なプロンプトと参照画像を固定し、画質指標に加えて人手確認やアプリケーション固有の合格基準を組み合わせると、VC-Attention、Sol-Attention、Cache-DiTの許容範囲を明確にしやすい。
-
推論APIだけでなく、配備単位で構成を再現可能にする。 CUDA Graphsの有無、コンパイル対象解像度、GPU並列構成、モデル版、デノイジングステップ、アテンション方式をYAMLと計測ログで管理する。記事の測定ではCUDA Graphsや並列化の効果が解像度に依存し、Cache-DiTの効果もBaseと蒸留版で異なる。ワークロード別の構成を分け、同じ品質条件でエンドツーエンド遅延を比較するのが実装上の近道となる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


