Olmo-core 3：大規模Mixture-of-Experts（MoE）トレーニング向けオープンインフラの全貌
Olmo-core 3におけるMoE特化型トレーニングスタックのアーキテクチャ刷新
Allen Institute for AI（Ai2）が公開した「Olmo-core 3」は、大規模言語モデル（LLM）の訓練フレームワークにおけるパラダイムシフトを示すものである。従来のOlmoシリーズでは、密な（Dense）モデル構造や、完全シャード型データパラレル（FSDP）を軸とした実装が採用されていた。しかし、FSDPベースの構成では、トレーニングのミニバッチごとにモデルウェイトを収集（gather）および再シャードするオーバーヘッドが発生し、エキスパート数が増加するにつれて通信・協調コストが急増するという課題があった。
Olmo-core 3では、このアプローチをDistributed Data Parallelism（DDP）を基盤としたシステムへと刷新した。これにより、各GPU上にエキスパートを常駐させ、必要なデータを該当するエキスパートへ直接ルーティングすることが可能となり、ウェイトの頻繁な再収集を回避している。NVIDIA B300 GPUを用いた予備検証では、470億パラメータ規模のMoEモデルにおいて、旧実装の19,400トークン/秒/GPUから、52,000トークン/秒/GPUへと約2.7倍のスループット向上を達成している。
効率的な分散手法とMXFP8による低精度演算の最適化
数兆パラメータ規模への拡張性を担保するため、Olmo-core 3には複数の分散学習技術と、ルーティング・計算効率を高める細粒度の最適化手法が統合されている。ハードウェアリソースへの負荷を分散させるため、以下の3つの手法が組み合わされている：
- エキスパートパラレル（Expert Parallelism）: エキスパートを複数のGPUに分散させ、各GPUが全プールの一部のみを保持。
- パイプラインパラレル（Pipeline Parallelism）: モデルのレイヤーをGPUグループ間で分割し、各GPUのメモリフットプリントを抑制。
- 分散オプティマイザ（Distributed Optimizer）: 訓練時の更新状態を分散配置。
さらに、データ移動の最適化として「Rowwise expert parallelism（ルーティング済みデータをエキスパートの入力バッファに直接配置）」や、CPU側の待ち時間を削減する「GPU-resident routing」、複数の小規模なエキスパート計算を統合してGPUの稼働率を高める「grouped GEMM」が導入されている。
特筆すべきは、低精度数値フォーマット「MXFP8」の導入である。4基のNVIDIA B300 GPUを用いた制御ベンチマークにおいて、MXFP8を適切なシステムレイヤーに適用した結果、BF16ベースラインと比較してエンドツーエンドの訓練スループットが約21%向上し、ピークアクティブメモリも103 GiBから95 GiBへと削減された。この性能向上は、主にアテンション機構単体ではなく、フィードフォワード計算およびエキスパート間のデータ転送効率化に起因している。
1.2兆〜2.38兆パラメータ規模へのスケーリングと実証実験の知見
Olmo-core 3は、実際のハードウェア環境における極限のスケールテストも実施されている。NVIDIA B300 GPUを512基使用した構成では、アクティブパラメータ数が583.6億、総パラメータ数が1.2兆に達するモデルのベンチマークが行われ、最大で858 TFLOP/s/GPUという高い演算効率を記録した。また、別系統の通信手法であるDeepEP v2を統合した実験では、最大2.38兆パラメータの構成が短時間でのキャパシティテストとして実証されている。
開発チームは、単なるスケーリングに留まらず、大規模MoE特有の複雑な挙動に関する詳細なアブレーション（要素分解）実験の結果も公開している：
- トークン・ゲリマンダリング（Token Gerrymandering）: 負荷分散を促すスコア指標が、実際のワークロードの不均衡化を隠蔽してしまう現象の特定。
- 学習率の調整に関する知見: エキスパートが処理するトークン数が少ないことを理由に、その学習率を単に下げるアプローチは、検証したモデルファミリーにおいて性能改善をもたらさなかったという事実。
- 非同期オーバーヘッドの罠: 通信と計算のオーバーヘッドを別ストリームで隠蔽・重複させることが、必ずしもエンドツーエンドの高速化に直結しないケースの確認。
開発者・エンジニア視点での考察
-
DDPベースのルーティング設計への移行意義: 従来のFSDPによるウェイト収集のオーバーヘッドを排除し、エキスパート常駐型DDPへ移行したアーキテクチャ設計は、今後の巨大MoE実装における標準的なリファレンスデザインとなる。
-
MXFP8とハードウェア特化型最適化の実用性: 単なる量子化フォーマットの導入に留まらず、grouped GEMMやGPU-resident routingといったメモリアクセス最適化を同時に垂直統合することで初めて、BF16比21%増のスループットという実用的なゲインが引き出せる点にシステムエンジニアリングの妙がある。
-
「トークン・ゲリマンダリング」等の実戦的知見の価値: 単なるスケーリングの成功談だけでなく、バランシングスコアの罠や通信・計算の非対称性といった、実際に数千基規模のクラスタを回さなければ分からない深い知見がオープンに共有されているため、独自に大規模基盤を構築する研究者にとって極めて価値の高いインフラ資産となる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
