Amazon SageMaker AIにおけるP-EAGLEによる推論高速化：並列投機的デコーディング詳解
大規模言語モデル（LLM）の推論スループットを最大化し、レイテンシを最小化することは、企業が本番環境でAIアプリケーションを展開する上で極めて重要な課題となっています。この課題に対応するため、Amazon SageMaker AIは、最新の高速化技術であるP-EAGLEによる並列投機的デコーディングのサポートを導入しました。この技術は、LLM推論の根本的なボトルネックを解消し、大幅なパフォーマンス向上を実現します。
P-EAGLEによる投機的デコーディングの革新
投機的デコーディングは、軽量なドラフトモデルを用いて将来のトークン候補を予測し、それを大規模なターゲットLLMが単一のフォワードパスで検証することで、LLM推論を高速化する手法です。従来の投機的デコーディング手法、特にEAGLE（Extrapolation Algorithm for Greater Language-model Efficiency）は、LLM推論の高速化に大きな成果を上げてきましたが、その自動回帰的なドラフト生成プロセスには固有のボトルネックが存在しました。つまり、K個のドラフトトークンを生成するために、ドラフトモデルがK回のシーケンシャルなフォワードパスを実行する必要があり、推測の深度が増すにつれてレイテンシのオーバーヘッドも直線的に増加するという問題がありました。
P-EAGLEはこの根本的な制約を打破するために開発されました。P-EAGLEは、自動回帰的なドラフト生成パイプラインを並列な複数トークン予測に置き換えることで、推測深度とドラフターのレイテンシ間の直線的な関係を排除します。具体的には、P-EAGLEはすべてのK個のドラフトトークンを単一のフォワードパスで生成します。これを可能にするために、将来のトークン位置のプレースホルダーとして、学習可能なマスクトークンと共有隠れ状態が利用されます。例えば、「Paris」というトークンが生成された場合、P-EAGLEは続く4つのトークン候補を同時に予測し、シーケンシャルな処理を完全に排除します。このアーキテクチャの変更により、シーケンシャルなドラフト生成によるパフォーマンスの天井が取り除かれ、より深い推測が可能になります。
Amazon SageMaker AIにおけるP-EAGLEの実装と性能
P-EAGLEは、LLM推論のための高パフォーマンスなライブラリであるvLLMに統合されており、vLLM v0.16.0+で「parallel_drafting”: true」を設定するだけで利用可能です。これにより、開発者は既存のvLLMベースのデプロイメントにP-EAGLEを容易に組み込むことができます。
P-EAGLEは、特に最新のNVIDIA B200 GPUのようなハードウェア上で顕著な性能向上を示しています。GPT-OSS 20BモデルをMT-Bench、HumanEval、SpeedBenchといった実際のワークロードで評価した結果、P-EAGLEは従来のEAGLE-3と比較して最大1.69倍の高速化を達成しました。スループットの面では、低並行度（c=1）では55%〜69%の向上、高並行度（c=64）では5%〜25%の向上が確認されています。この性能向上は、バッチメタデータ再構築のオーバーヘッドを最小限に抑えるために、手書きのフューズドTritonカーネルを実装していることにも起因します。
Amazon SageMaker AIは、以前からEAGLE 2およびEAGLE 3投機的デコーディングをサポートしており、P-EAGLEの導入はこれらの推論最適化機能の自然な進化と言えます。SageMaker AIの既存の推論ワークフローを利用することで、ユーザーはインフラストラクチャの変更なしにP-EAGLEによる最適化されたモデルを展開し、応答性の高いAIアプリケーションを提供できます。
アーキテクチャの深化と今後の展望
P-EAGLEの並列ドラフティングは、アーキテクチャ設計に大きな意味を持ちます。このアプローチは、追加のシーケンシャルオーバーヘッドなしでより深い投機を可能にし、これにより、単層ベースラインと比較してアクセプタンス率を高める可能性を秘めています。P-EAGLEドラフター自体は、軽量な4層モデルであり、最大10トークンを並列に予測するように訓練されています。このような効率的な設計は、P-EAGLEがプロダクションLLMデプロイメントに適していることを示しています。
また、P-EAGLEは、HuggingFace上でGPT-OSS 120B、GPT-OSS 20B、Qwen3-Coder 30Bといったモデル向けの事前学習済みP-EAGLEヘッドを提供しており、これにより開発者は特定のモデルに対して簡単にこの高速化技術を適用できます。並列ドラフティングの課題、特にマルチトークン予測（MTP）位置で予測されたトークンや隠れベクトルが欠落する問題に対して、P-EAGLEは学習可能な共有隠れ状態とマスクトークン埋め込みを導入することで対処しています。これにより、すべてのK個のトークンを単一のフォワードパスで生成することが可能になります。
今後、P-EAGLEは、LLMがより大規模で複雑になるにつれて、その推論パフォーマンスのボトルネックを解消するための重要な技術として、さらに発展していくと予想されます。
開発者・エンジニア視点での考察
-
vLLMとの容易な統合: vLLM v0.16.0+に
"parallel_drafting": trueを設定するだけでP-EAGLEを活用できるため、既存のvLLMベースのLLM推論パイプラインへの導入が極めて容易である。これにより、コードの大幅な変更なしに推論パフォーマンスを向上させることが可能となる。 -
ハードウェア効率の最大化: NVIDIA B200のような最新GPUと組み合わせることで、P-EAGLEは投機的デコーディングのシーケンシャルボトルネックを解消し、GPUリソースをより効率的に利用できる。これにより、特に推論スループットが要求される大規模プロダクション環境において、コストパフォーマンスの高いデプロイメントが実現可能となる。
-
深い投機への道: 並列ドラフティングの採用により、従来はレイテンシ増加の要因となっていた投機深度（K）を大きく設定できるようになった。これにより、より多くの候補トークンを一度に生成・検証できるため、平均的なアクセプタンスレートの向上と、全体的な生成品質を維持しつつ更なる高速化が期待できる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
