Mellum2のオープンソース化：AIワークフローを加速する高速専門モデルの深層解析
Mellum2のオープンソース化：AIワークフロー向け高速モデルの登場
JetBrainsは、AIワークフローの生産性向上を目指し、12Bパラメータの高速モデル「Mellum2」をApache 2.0ライセンスのもとオープンソース化したことを発表しました。Mellum2は、本番環境のAIシステムにおける推論のボトルネックであるレイテンシ、スループット、およびコストといった課題を解決するために、ゼロから開発されました。
従来の巨大なフロンティアモデルとは異なり、Mellum2は「フォーカルモデル」として位置づけられています。これは、AIパイプライン全体を単一の汎用モデルに依存するのではなく、ルーティング、要約、検証などの高頻度かつ低レイテンシが求められる特定のタスクを効率的に処理する、専門的なコンポーネントとしての役割を果たすことを意味します。元々コード補完に特化していたMellumから進化し、Mellum2は自然言語とコードの両方に対応する多用途なツールへと変貌を遂げています。
アーキテクチャと効率性：MoEによる高速推論の実現
Mellum2の際立った特徴は、その革新的なアーキテクチャにあります。モデルはMixture-of-Experts (MoE) デザインを採用しており、全体のパラメータ数は120億ですが、個々のトークン処理においてアクティブとなるのはわずか25億パラメータに過ぎません。この設計により、計算コストを大幅に削減しつつ、リアルタイムのワークロードで要求される高スループットと低レイテンシの推論を可能にしています。
詳細なアーキテクチャ構成としては、64の専門家（エキスパート）から構成され、そのうち8つがトークンごとに活性化されます。28層からなるネットワークは、隠れ層サイズ2304、Grouped-Query Attention (GQA) を採用し、32のクエリヘッドと4つのKVヘッドを備えています。さらに、3層ごとに4層目にはSliding Window Attention (SWA) が適用され、窓サイズは1024トークンに設定されています。コンテキスト長は131,072トークンと非常に長く、これは層選択型YaRNによって128Kに拡張されており、複雑なソフトウェアエンジニアリングタスクにおける広範なコード理解に寄与します。Multi-Token Prediction (MTP) ヘッドは、事前学習の補助目的と、推測デコーディングのための組み込みドラフトモデルとして機能します。モデルはbfloat16精度で動作し、98,304語彙サイズを誇ります。
Mellum2はマルチモーダルではなく、自然言語とコードのデータに特化してトレーニングされています。約10.6兆トークンにわたる3段階のカリキュラムを通じて事前学習が行われ、データ混合は多様なウェブコンテンツからコードおよび数学コンテンツへと段階的にシフトします。また、MuonオプティマイザとFP8ハイブリッド精度が用いられています。ポストトレーニングは、教師ありファインチューニング (SFT) と検証可能な報酬による強化学習 (RLVR) の2段階で行われ、直接的な応答に特化した「Instruct」モデルと、より複雑なデバッグやプランニング、エージェントワークフローに適した推論チェーントレースを出力する「Thinking」モデルの2つのバリアントが提供されています。
実用的なAIワークフローとベンチマーク性能
Mellum2は、その高速性と専門性により、多様なAIワークフローにおいて強力な性能を発揮します。コード生成、数学、推論のベンチマークにおいて、4Bから14Bの範囲の他の同規模モデルと競合する性能を示しつつ、推論時間を半減以下に短縮しています。具体的なベンチマーク結果では、EvalPlusで78.4、BFCL v3で66.3という高いスコアを記録しています。LiveCodeBench v6やGPQA Diamondなどのより大規模な比較では後れを取るものの、これは汎用フロンティアモデルではなく、特定のコンポーネントとしての役割に特化しているため、想定内のトレードオフとされています。
Mellum2の主なユースケースには、AIワークロードのルーティングとオーケストレーションが含まれ、これにより適切なモデルやツールを各タスクに動的に選択できます。また、低レイテンシなRAG (Retrieval-Augmented Generation) パイプラインを構築し、関連コンテキストの要約と即時応答生成を可能にします。複雑なワークフローにおける高速なサブエージェントの動力源としても機能し、コンテキスト収集、プランニング、検証といった段階でMellum2を利用することで、全体的なエージェントパイプラインの効率を高めます。さらに、ローカルまたは自己ホスト型でのデプロイメントをサポートしており、コードとデータを完全に管理下に置くプライベートなAI利用環境を構築できる点も大きな利点です。
開発者・エンジニア視点での考察
-
分散型AIアーキテクチャの加速: Mellum2の「フォーカルモデル」としての位置付けは、単一の巨大モデルに依存するのではなく、複数の専門モデルを連携させる分散型AIシステム設計を促進します。開発者は、低レイテンシで高頻度なタスク（ルーティング、要約、検証など）にMellum2のような高速専門モデルを割り当て、推論コストを最適化しつつ、大規模なフロンティアモデルの負荷を軽減できます。これにより、より効率的で応答性の高い、複雑なAIアプリケーションを構築するための新しいパラダイムが提供されます。
-
プライベートAI環境でのコード・データセキュリティの確保: Apache 2.0ライセンスでのオープンソース化とローカル/自己ホスト型デプロイメントのサポートは、企業の機密コードやデータをクラウドAPIに送信することなく、オンプレミス環境で高度なAI機能を活用したい開発者にとって極めて重要です。これにより、データプライバシーとセキュリティ要件を満たしながら、AIによる開発支援ツール（コード生成、デバッグ支援など）を企業の内部システムに安全に統合することが可能になります。
-
効率的なエージェントワークフロー構築のための構成要素: Mellum2のMoEアーキテクチャによる高速な推論速度と、コードおよび自然言語処理能力は、複雑なAIエージェントシステムにおけるサブエージェントとして非常に有効です。開発者は、Mellum2をコンテキスト収集、計画、バリデーションといった個別のステップに特化させることで、エージェントパイプライン全体の効率と応答性を劇的に向上させ、より堅牢で実用的なエージェントアプリケーションを構築できるようになります。特に「Thinking」バリアントは、マルチステップの推論が必要なエージェント設計において、その透明性と信頼性を高めるでしょう。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
