NeoMME: 効率的なマルチモーダルネイティブ多言語エンコーダーの登場
Hcompanyは、マルチモーダルおよび多言語対応の効率的なエンコーダーファミリー「NeoMME」を発表しました。この新しいモデルは、既存のマルチモーダルモデルが抱える課題、特に生成型視覚言語モデル（VLM）のアーキテクチャから派生することによるパラメータと計算オーバーヘッドを解消することを目的としています。NeoMMEは、ゼロからマルチモーダルネイティブおよび多言語ネイティブとして設計された単一の双方向Transformerエンコーダーとして提供され、最先端のパフォーマンスと効率性を実現しています。
NeoMMEの革新的アーキテクチャと設計思想
NeoMMEは、2.6億および8億パラメータのモデルファミリーとして、多言語テキストと生の画像パッチを単一の双方向Transformerエンコーダーで処理するという革新的なアプローチを採用しています。これは、既存の多くのマルチモーダルモデルが、個別に事前学習されたビジョンエンコーダーと因果言語モデルを組み合わせることで構築されているのとは対照的です。ColPaliのような視覚ドキュメントリトリーバーがVLMをエンコーダーとして再利用する際、非生成タスクに不要なVLMのパラメータと計算オーバーヘッドを引き継ぐ問題に対し、NeoMMEはこの問題を根本から解決します。
NeoMMEは、事前学習されたビジョンタワー、テキストエンコーダー、またはテキストデコーダーを使用せず、ゼロから完全にスクラッチで事前学習されています。事前学習には、可視画像パッチを条件とするマスク付き離散拡散テキスト目的が用いられています。この「シングルタワー」設計により、複数のモダリティと言語間のネイティブな相互作用が、より効率的かつ統合された方法で可能になります。また、16,384トークンのコンテキストウィンドウをサポートしており、これは最大2枚の標準的な4K UHD画像をエンコードするのに十分な能力を示します。
卓越したパフォーマンスと効率性
NeoMMEは、その効率的な設計により、特に視覚ドキュメント検索（ViDoRe v3ベンチマーク）において卓越した性能を発揮しています。NeoMME-Retriever 260Mは、8億パラメータ未満のすべての評価モデルを上回り、0.523 nDCG@10を達成しています。より大規模なNeoMME-Retriever 800Mは、0.556 nDCG@10に到達しています。
スループットの面でも、NeoMMEはその効率性を証明しています。NVIDIA L40S上で2048x2048の画像入力サイズにおいて、NeoMME-260MはColModernVBERTと比較して約2倍のページエンコードスループットを達成しています。さらに、階層的トークンプーリングと非対称量子化を用いることで、late-interactionマルチモーダルドキュメントエンベディングを255分の1に圧縮しつつ、ベースラインnDCG@10の95%以上を維持できることが示されています。これにより、ストレージと計算リソースの大幅な削減が可能となり、実世界のアプリケーションにおける展開の可能性が広がります。
Hugging Faceエコシステムへの統合と開発者向けリソース
Hcompanyは、NeoMMEをHugging Face Transformersライブラリに貢献し、事前学習済みバックボーンと検索互換性のあるチェックポイントをApache 2.0ライセンスで公開しています。これにより、開発者や研究者はNeoMMEを容易に利用し、自身のプロジェクトに組み込むことができます。また、視覚検索拡張生成のデモがHugging Face Spaceとして利用可能であり、モデルの機能を実際に試すことができます。
ファインチューニングに関しては、Sentence Transformers v6と互換性のある個別の密な（dense）および遅延相互作用（late-interaction）チェックポイントが提供されています。両方のヘッドを同時にトレーニングするには、NeoMMEForRetrievalクラスとカスタムのTrainerを使用する必要があります。この豊富なリソースにより、NeoMMEは多様なマルチモーダル・多言語アプリケーションの開発における強力な基盤となることが期待されます。
開発者・エンジニア視点での考察
-
既存VLMベースモデルからの脱却と効率的なファインチューニング: NeoMMEは、生成型VLMのエンコーダーとしての転用に伴う非効率性を排除し、ゼロからマルチモーダル・多言語エンコーダーとして設計されています。これにより、特に検索や分類といった非生成タスクにおいて、より少ないパラメータと計算リソースで高い性能を達成でき、ファインチューニングのプロセスが大幅に効率化され、特定のタスクへの適応が容易になります。
-
高解像度画像処理と255倍エンベディング圧縮の実世界応用: 16,384トークンのコンテキストウィンドウで4K UHD画像を処理できる能力と、late-interactionエンベディングを255倍に圧縮しつつ95%以上の精度を維持できる技術は、高解像度ドキュメント検索、大規模な画像・動画データベースのインデックス作成、エッジデバイスでのマルチモーダル推論など、ストレージや帯域幅が限られる実世界アプリケーションにおいて極めて大きなメリットをもたらします。
-
Hugging Face Transformers統合とSentence Transformers v6互換性による迅速なプロトタイピング: NeoMMEがHugging Face TransformersとApache 2.0ライセンスで提供され、Sentence Transformers v6との互換性を持つことは、開発者にとって大きな利点です。既存のHugging Faceエコシステムを活用することで、モデルのロード、ファインチューニング、デプロイが簡素化され、マルチモーダル・多言語対応のアプリケーションの迅速なプロトタイピングと開発が可能になります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
