MetaのオープンウェイトMixture-of-Expertsモデル「Muse Spark Open」の技術的全貌
アーキテクチャとMoE設計：約816B総パラメータと42Bアクティブパラメータの効率性
Metaが公開した「Muse Spark Open」は、テキスト、画像、音声、動画を統合処理する、約8160億（816B）の総パラメータを持つ大規模Mixture-of-Experts（MoE）モデルである。言語モデル部分は62層で構成され、隠れ次元（hidden dimension）は8192、各層には128のクエリヘッドと16のキー・バリューヘッド（グループ化クエリ注意機構：GQA）を配置している。特筆すべきは、各MoEブロックに256のエキスパートを備え、トークンごとにルーターが8つのエキスパートを選択する点である。
これにより、総パラメータ規模は816Bでありながら、1トークンあたりに稼働するアクティブパラメータは約42Bに抑えられており、大規模モデルの表現力を維持しつつ高速な推論スループットを実現している。また、クエリとキーに対する正規化（QK-norm）の導入や、プレーンな和ではなく学習可能な残差ゲート（learned residual gate）の採用により、深いネットワーク構造全体での勾配安定性と表現力が向上している。重みはBF16版（約1.5 TB）に加え、NVIDIA Blackwell世代向けに精度損失を極限まで抑えたNVFP4版も提供されている。
マルチモーダル入力の統合と推論バックエンドの最適化
Muse Spark Openは、テキストのみならず、視覚・聴覚情報を高精度に処理するための専用エンコーダを統合している。画像および動画フレームは、 Metaの先行研究に基づく1.8Bパラメータの「Perception Encoder」によって14×14パッチに分割され、空間・時間的特徴トークンへ変換される。音声入力に関しては、1次元畳み込みピラミッド構造を持つオーディオエンコーダを採用しており、サンプリングされた波形から80msごと（秒間12.5トークン）に音声トークンを生成、最大100万トークン（1M tokens）のコンテキストウィンドウ内でテキストや視覚情報とシームレスにインタリーブされる。
推論エコシステムにおいても幅広いサポートがなされており、Transformersによるネイティブ実装のほか、llama.cppによる量子化モデル（Q2_K, Q4_K_S, Q8など）のローカル実行、さらにはSGLangやvLLMを用いたNVFP4チェックポイントのテンソル・エキスパート並列運用（Tensor/Expert Parallelism）が確立されている。これにより、クラウドの大規模クラスターからApple Silicon（Mac M3 Ultraなど）のローカル環境に至るまで、柔軟なデプロイメントが可能となっている。
開発者・エンジニア視点での考察
-
推論時の「推論努力（Reasoning Effort）」制御の重要性: Muse Spark Openは推論ステップを無効化できず、デフォルトで高度な思考プロセスが組み込まれている。開発者は
reasoning_effortパラメータ（low/medium/high/xhigh）を適切に「low」に設定するか、システムプロンプトで制御を行うことで、単純なタスクにおける無駄なトークン消費とレイテンシを抑制する設計が求められる。 -
効率的なファインチューニング戦略（TRLを活用したLoRA）: 816Bパラメータのモデル全体をフルチューニングすることはコストが高いため、TRLの
SFTTrainerを用いてアテンション層（q_proj,k_proj,v_proj,o_proj）にのみLoRAアダプタを適用し、256のエキスパート層を凍結（フレージング）する手法が有効である。FSDP2とエキスパート並列（ep_size=8）を組み合わせることで、マルチノード環境での効率的な適応学習が可能になる。 -
チャンネルベースのチャットテンプレート（Harmony構造）の解析: 本モデルは独自のチャネルベースのテンプレートを採用しており、
to=selfによる内部思考やto=weather.getのようなツールコールルーティングが明確に分離されている。低品質な出力やパースエラーを防ぐため、カスタムエージェントやツール統合を行う際は、この内部メッセージ構造（<|start|>assistant to=...）のハンドリングを正確に実装する必要がある。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
