Mac StudioにおけるMLXとRDMAを活用した大規模LLMローカル分散推論の探求
MLXフレームワークとApple Silicon上でのLLM推論最適化
Appleは、Apple Siliconチップ向けに最適化されたオープンソースの機械学習フレームワークであるMLXを導入しました。このフレームワークは、Mシリーズプロセッサのユニファイドメモリアーキテクチャを最大限に活用し、CPUとGPU間のデータコピーを不要にすることで、大規模言語モデル（LLM）の効率的な推論を実現します。これにより、従来のフレームワークとは異なり、利用可能なシステムRAMのほぼすべてをデータ転送のオーバーヘッドなしにモデル推論に利用でき、同一ハードウェア上でより大規模なモデルの実行を可能にします。
MLXは、PythonのNumPyライクなAPIを提供し、C++、Swift、Objective-Cのバインディングもサポートしており、科学技術計算の経験がある開発者にとって非常にアクセスしやすい設計となっています。また、遅延評価と動的な計算グラフを特徴とし、PyTorchに似た柔軟性とデバッグのしやすさを維持しつつ、高いパフォーマンスを提供します。 関連するmlx-lmパッケージは、モデル変換ユーティリティ、チャットCLI、OpenAI互換サーバー、LoRA/QLoRAファインチューニングなどの包括的なツールキットを提供し、すべてApple Siliconに最適化されています。 MLXは、AppleのGPU向けに調整されたカスタム量子化カーネルを使用し、4ビットおよび8ビットの量子化モデルをサポートします。これにより、モデルのメモリフットプリントが削減され、24GBのMacBook Proで8BモデルをBF16精度で、または30B MoEモデルを4ビット量子化で18GB未満のメモリに収めることができます。
パフォーマンス面では、MLXはApple Silicon上でLLM推論においてllama.cppを多くの構成で上回り、特にPyTorch MPSと比較して25〜30倍高速に動作することが示されています。 さらに、M5チップで導入されたNeural Acceleratorsを活用することで、行列乗算処理が大幅に高速化され、言語モデル推論におけるTime-to-First-Token（TTFT）でM4ベースラインと比較して最大4倍の高速化を実現しています。
Mac StudioにおけるMLX分散推論の実現
単一のM5 Ultra Mac Studioが提供するユニファイドメモリは最大512GBですが、これはLlama 4 Scoutや量子化されたMaverickのようなモデルを超える大規模なLLMには限界があります。このようなメモリ制約を克服するため、MLX 0.21では分散推論プリミティブが導入され、複数のMac間でのLLMの効率的なスケーリングが可能になりました。
MLXの分散機能は、モデルの層を複数のマシンに分割するパイプライン並列性、または単一の行列乗算を複数のデバイスに分割するテンソル並列性といった戦略をサポートしています。特にMixture-of-Experts (MoE) モデルの場合、異なるエキスパートを異なるノードに配置するエキスパート並列性が用いられます。 これにより、2台のMac Studio（M5 Ultra、各512GBユニファイドメモリ）をThunderbolt 5で接続することで、400BパラメータのMoEモデルを実行できるようになります。
この分散推論アプローチは、プライバシー、コスト、レイテンシの観点から、クラウドGPUに代わるローカル推論の代替手段を求めるチームにとって特に魅力的です。MLXのバックエンドはMPI上に構築されており、HPCツールに近いセットアップが必要ですが、openmpiのインストールとSSHキー認証の設定により、mpirunコマンドで簡単に起動できます。
ThunderboltとRDMAによる高速インターコネクト
MLXによる分散推論の性能を最大限に引き出す上で、ノード間の高速インターコネクトは不可欠です。Thunderbolt 5を介したRDMA (Remote Direct Memory Access) は、macOS 26.2以降のApple Silicon Macでサポートされており、この要件を満たす鍵となります。
RDMAは、CPUやオペレーティングシステムの介在なしに、あるマシンのメモリから別のマシンのメモリへ直接データを転送することを可能にします。これにより、従来のCPUベースの通信方法と比較して、低レイテンシで高帯域幅の通信を実現し、メモリコピーのボトルネックを排除します。 例えば、70Bクラスの密なモデルにおけるテンソル並列性では、トークンあたり約16MBのアクティベーションがオールリデュース操作で必要となり、30トークン/秒の生成速度では、層あたり480MB/秒のノード間トラフィックが発生します。このような大量のデータ転送には、高速なインターコネクトが不可欠です。
Thunderbolt 5は、80 Gbpsの全二重通信をサポートし、ビデオ用途では120 Gbpsにブースト可能です。Mac Studioの実環境では、Thunderbolt 5ケーブルを介した2台のマシン間での持続的なTCPスループットは、約60 Gbps（7.5 GB/s）に達します。 RDMA over Thunderboltは、MLX DistributedおよびAppleが開発したオープンソースの集合通信ライブラリであるJACCLのために共同開発され、最適化されています。 RDMA Verbs APIは、直接の利用も可能で、送受信操作、最大10の信頼性の低い接続キューペア、最大16,773,120バイトのメッセージサイズをサポートします。 JACCLとRDMA over Thunderbolt 5を用いたファイル転送では、3.5〜3.8 GB/sの持続スループットを達成し、同じリンク上のrsyncと比較して約23倍の高速化が報告されています。
パフォーマンスとアーキテクチャの考慮事項
MLX分散推論の導入には、パフォーマンスに関するトレードオフとアーキテクチャ上の考慮事項が存在します。2ノードクラスタでは、単一ノードで同じモデルを実行した場合と比較して、約15〜25%のレイテンシオーバーヘッドが発生します。このオーバーヘッドは、ノード数が増えるにつれて非線形に増加し、4ノードクラスタでは一般的に単一ノード効率の60〜70%程度となります。 このため、分散推論は主に単一マシンでは収まらない大規模モデルの実行を可能にするためのものであり、純粋な処理速度の向上を目的としたものではないとAppleは強調しています。
LLM推論において、最初のトークンを生成する時間（TTFT）は計算能力によって制約されますが、後続のトークン生成はメモリ帯域幅によって制約されます。M5チップのNeural Acceleratorsは、TTFTを大幅に改善する上で重要な役割を果たします。 MLXは、メモリ利用効率と量子化能力において優れており、大規模なコンテキスト処理においても効率的なパフォーマンスを提供します。 vllm-mlxのようなフレームワークでは、連続バッチ処理や、マルチモーダルモデル向けに同一画像をコンテンツハッシュで識別し冗長な視覚エンコーディングを排除するコンテンツベースのプレフィックスキャッシュが導入されており、Apple Silicon上での効率的な推論に貢献しています。
開発者・エンジニア視点での考察
-
ユニファイドメモリとNeural Acceleratorsの活用による開発効率向上: MLXは、Apple SiliconのユニファイドメモリとM5チップ以降のNeural Acceleratorsに特化して設計されているため、開発者はCPUとGPU間の明示的なデータ転送を意識することなく、大規模なモデルを効率的に扱えます。これにより、メモリ管理の複雑さが軽減され、開発者はモデルのロジックと最適化に集中でき、プロトタイピングからデプロイまでのサイクルを加速できます。
-
Mac Studioクラスターによるコスト効率の高いローカルAI環境構築: MLXの分散推論機能とThunderbolt/RDMAの組み合わせは、高価なクラウドGPUリソースに依存することなく、複数のMac Studioを連携させて数百億パラメータを超えるLLMをローカルで実行できる環境を提供します。これにより、データプライバシー要件が厳しいプロジェクトや、クラウドコストを抑えたい研究機関・企業にとって、費用対効果の高い強力なオンプレミスAI開発・推論基盤を構築する新たな選択肢が生まれます。
-
既存エコシステムとの互換性と拡張性: MLXはNumPyに似た直感的なPython APIを提供し、C++やSwift/Objective-Cのバインディングも備えているため、多様な開発スタックへの統合が容易です。さらに、
mlx-lmによる量子化・ファインチューニング機能や、MPIバックエンドを活用した分散プリミティブにより、研究者やエンジニアは既存のMLワークフローをApple Silicon環境にスムーズに移行・拡張し、新しい推論技術や並列処理戦略を迅速に実験・実装できる柔軟性があります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
