EmbeddingGemma 2：テキスト・画像・音声・動画を統合するオープンな軽量マルチモーダル埋め込みモデル
EmbeddingGemma 2のアーキテクチャとマルチモーダル統合
Google DeepMindによって発表された「EmbeddingGemma 2」は、テキスト、コード、画像、動画、音声をシームレスに単一の共有埋め込み空間へとマッピングする、オンデバイス向けに最適化されたオープンなマルチモーダル埋め込みモデルである。前身モデルの成功（累計2,000万ダウンロード以上）を受け、最新のGemmaアーキテクチャをベースに設計され、商用利用可能なApache 2.0ライセンスの下で公開されている。
総パラメータ数は約7.4億でありながら、サブ1B（10億未満）クラスのマルチモーダル埋め込みモデルとして最先端の性能を誇る。特筆すべきはそのモジュール設計にあり、テキストのみのワークロードであれば最小約2.7億パラメータ相当で動作し、必要に応じてビジョンエンコーダー（1.7億パラメータ）やオーディオエンコーダー（3億パラメータ）を組み合わせる柔軟性を持つ。また、MTEB（Massive Text Embedding Benchmark）のCodeタスクにおいて前世代から9.92ポイントの大幅な向上（68.76から78.68へ）を達成するなど、コード検索やローカルコードベースのインデックス作成においても強力な性能を発揮する。
オンデバイス性能とマトリョーシカ表現学習（MRL）による効率化
エッジデバイスやスマートフォンでの実用性を最大化するため、EmbeddingGemma 2には高度な軽量化技術が組み込まれている。コンテキスト長は前世代の4倍となる8Kトークンに拡張され、最大約5.5分の音声、29枚の画像、58フレームの動画、あるいはそれらが混在するデータを単一のデバイス上で直接処理可能となった。例えば、Google Pixel 11 Pro上の量子化実行において、テキストのみの重みであれば約191MB、フルマルチモーダル構成でも約567MBのアクティブRAMしか消費しない。
さらに、マトリョーシカ表現学習（Matryoshka Representation Learning: MRL）を採用している点がエンジニアにとって大きなメリットとなる。これにより、開発者は出力ベクトル次元をデフォルトの768から、512、256、128へと動的に切り捨て・圧縮することが可能であり、ローカルベクトルデータベースのストレージ容量やメモリフットプリントを最大6分の1に削減できる。精度低下を最小限に抑えつつ、リソースが極めて限られたエッジ環境でのスケーラブルな運用を実現している。
開発者・エンジニア視点での考察
-
共有トークナイザー・エンコーダーによるパイプラインのメモリ効率化: 本モデルは同一系統のアーキテクチャ（Gemma 4など）とテキストトークナイザーやオーディオエンコーダーを共有しているため、生成AIモデルと埋め込みモデルを同一デバイス上で同時展開する際、メモリのオーバーヘッドを劇的に抑制した統合RAGパイプラインの構築が可能になる。
-
MRL（マトリョーシカ表現学習）を活用した動的ストレージ最適化: エッジデバイスやブラウザ上（transformers.js / WebGPU）でベクトル検索を実装する際、アプリケーションの要件（精度重視か容量・速度重視か）に応じて、128次元から768次元まで動的に次元数を変更できる柔軟性は、ローカルストレージが限られたモバイルアプリ開発において非常に強力な武器となる。
-
完全オフライン動作するクロスモーダル検索の民主化: 音声メモから特定の動画クリップを検索したり、テキストクエリだけで長時間音声や画像ライブラリをセマンティック検索する仕組みを、外部APIへの依存なしに完全にプライバシーを担保した形でクライアントサイドに実装できるため、機密データを扱うオンデバイスAIエージェントの応用範囲が大きく広がる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
