Metaの生成型広告モデル (GEM)：フロンティア広告AIのためのセントラルモデルとコンピューティングエンジンのスケーリング
統一基盤モデルとしてのGEMの進化と画期的なパフォーマンス向上
MetaのGenerative Ads Model（GEM）は、同社の広告エコシステム全体にわたるレコメンデーションシステムのための最先端の基盤モデルとして進化を遂げています。2026年世代のGEMは、これまでのFacebook、Instagram、Reelsといった個別のドメイン最適化から脱却し、単一のセントラル基盤モデルへと移行しました。この統合モデルは、Metaのすべての広告プラットフォームからのデータとシグナルを学習し、認識、検討、コンバージョンに至るまでのフルファネル最適化をシームレスに提供します。
GEMは、Metaの広告プラットフォーム全体で18.9%のコンバージョン改善と12%の広告クリック率（CTR）改善を達成しました。さらに、過去1年間でFacebook、Instagram、およびオフサイトコンバージョンにおいて、ターゲットユーザーに対するコンバージョンにおいてそれぞれ5.8%、4.1%、1.6%の向上が確認されています。 これらの成果は、LLM規模の計算能力によってスケーリングの法則を曲げ、リアルタイムの広告候補評価を必要としないポストトレーニング技術を通じて、より大きなレイテンシーバジェットを提供することで実現されました。 GEMは、すべての面とファネル段階で同時に広告パフォーマンスを向上させ、人々の求めるものに広告をより良く適合させるための深い理解をもたらしています。
LLM規模でのスケーリングを可能にする革新的技術
GEMがLLM規模でのレコメンデーションシステムを実現できた背景には、独自のハイブリッドアーキテクチャと高度なトレーニング技術があります。GEMは、数兆の疎な埋め込みパラメーターと数十億の密なパラメーターを持つハイブリッドアーキテクチャを採用しており、これは従来のLLMワークロードとは異なるレコメンデーションドメインのデータ特性と組み合わさることで、独自のエンジニアリング課題を提示します。
これらの課題に対処するため、Metaはハードウェア/ソフトウェアの共同設計を通じて、計算効率とスケーリング効率の両面で革新を実現しました。計算効率の面では、Jagged Flash Attention (JFA)、Generalized Dot-Product Attention (GDPA)、BlockAttentionなどのカスタムレコメンデーションカーネルライブラリと、最新世代GPUのアーキテクチャを最大限に活用するために最適化された混合超低精度トレーニング（MXFP8アテンションおよびMLPを含む）を導入しました。
スケーリング効率の面では、トポロジー認識型5D並列処理が採用されました。これは、密なパラメーターには2D FSDPとエキスパート並列処理を、疎なパラメーターには完全にシャードされた2Dモデル並列処理を組み合わせたもので、Metaの多層ネットワーク階層と共同設計されることで、通信オーバーヘッドを大幅に削減しました。 これらの技術革新の結果、GEMは過去12ヶ月間でエンドツーエンド（E2E）のトレーニング効率を20〜25%のModel FLOPs Utilization (MFU) に倍増させつつ、総トレーニングFLOPsを4倍に拡大しました。 この「Kunlun」アーキテクチャは、超長尺のユーザーシーケンスと大量のユーザー・アイテムインタラクション機能を活用することで、フロンティアトレーニング規模でのレコメンデーションシステムのスケーリングカーブを効果的に曲げています。
知能転送と「教師-生徒」アーキテクチャによる実運用への展開
GEMの優れた予測能力は、その巨大な計算量ゆえに、数十億のユーザーに広告を直接提供する速度では動作できません。この課題を解決するため、Metaは「教師-生徒」アーキテクチャを開発しました。ここでは、GEMが「マスター教師」として機能し、本番環境で広告を配信する数百のより小さく、より高速なVertical Models（VMs）をトレーニングします。
これらのVMは、Instagram Storiesのクリック予測やFacebook Feedのコンバージョン予測など、特定のコンテキストに特化しています。各VMはミリ秒単位で予測を行うのに十分な軽量性を持つ一方で、GEMから学習することで独立してトレーニングされるよりもはるかに賢くなります。この知識転送は、一連のポストトレーニング技術を通じて行われ、広告モデルフリート全体でGEMの学習を伝播させ、Metaの広告レコメンデーションシステムにおけるパラダイムシフトを可能にしています。 このアプローチにより、GEMは計算コストを継承することなく、その知能を実運用モデルに効率的に適用し、関連性の高いパーソナライズされた広告体験を提供しています。
開発者・エンジニア視点での考察
-
ハイブリッドアーキテクチャとカスタムカーネルの必要性: 推薦システムにおける大規模言語モデル（LLM）規模の学習では、疎な埋め込みと密なパラメータが混在するハイブリッドアーキテクチャの効率的な処理が鍵となります。この文脈では、Jagged Flash AttentionやMXFP8のようなカスタムカーネルと超低精度トレーニングは、一般的なLLM最適化が直接適用できない推薦システム特有のデータ特性に対応し、GPU性能を最大限に引き出すための不可欠な要素となります。
-
トポロジー認識型5D並列処理の設計思想: 大規模分散学習環境において、モデルのパラメーターが多様な特性（疎/密）を持つ場合、単一の並列化戦略では不十分です。GEMが採用した5D並列処理（密な部分への2D FSDP+Expert Parallelismと疎な部分へのFully Sharded 2D Model Parallelism）は、ネットワークトポロジーを考慮することで、通信オーバーヘッドを劇的に削減し、スケーラビリティと効率を両立させるための先進的なアプローチであり、他の複雑な分散MLシステム設計においても参考にすべきです。
-
基盤モデルと本番環境モデル間の知能転送戦略: 計算コストが非常に高い基盤モデル（教師モデル）と、リアルタイム性を要求される本番環境モデル（生徒モデル）の間で効率的に知識を転送する「教師-生徒」アーキテクチャは、大規模AIモデルを実運用に落とし込む際の重要な戦略です。ポストトレーニング技術と知識蒸留のアプローチは、基盤モデルの深い知能を保持しつつ、推論時のレイテンシーとリソース消費を許容範囲に抑えるための具体的な実装パターンとして、多岐にわたるMLアプリケーションで応用可能です。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
