完全オープンなマルチモーダル推論モデル：Apertus 1.5の技術的全貌
トークナイザー統合型によるネイティブ・マルチモーダル化のアーキテクチャ
Apertus 1.5は、初代モデル（8Bおよび70B）の事前学習を継続し、それぞれ4兆および2兆の追加トークン（総計19T / 17T）を投入して開発された。最大の特徴は、ビジョンエンコーダーを分離して後段で結合する従来の手法をとらず、**テキストと同一のシーケンス上に離散トークンとして入力するアーキテクチャ（早期フュージョン方式）**を採用している点にある。
画像処理には「Emu3.5」のトークナイザーが用いられ、512×512ピクセルの画像が1,024個のディスクリートトークンに変換される。一方、音声処理には「WavTokenizer」が採用され、秒間40トークンとして埋め込まれる。これにより、モデル構造自体（Transformerバックボーン）を変更する必要がなく、テキスト処理と同等の速度でマルチモーダルデータの処理が可能となっている。出力形式はテキストのみに限定されているが、ドキュメント、図表、写真、音声といった異種データをネイティブに近い形で横断的に理解する。
4段階の事前学習と5段階のポストトレーニングパイプライン
事前学習の継続プロセスは、以下の4つの明確なステージに分けて設計されている：
-
Unpaired（非対偶学習）： テキストに加え、単体の画像・音声データを投入し、新モダリティの基本構造を学習。
-
Paired（対偶学習）： 画像・キャプション、音声・トランスクリプトのペア学習により、各モダリティと言語空間をアライメント。
-
Cooldown（クーダウン）： 高品質な数学・コードデータを集中的に投入。
-
Long-context（長文脈拡張）： コンテキスト長を段階的に8kから262,144トークン（4倍）へと拡張。
また、ポストトレーニングは**SFT（教師あり微調整）→ ロングコンテキストSFT → RLVR（検証可能報酬に基づく強化学習）→ DPO（直接選好最適化）→ SDPO（憲章アライメント）**の5段階で構成されている。特に、推論トレース（Thinking Mode）をSFT時に混入させることで、その後のテキストのみのRLVRフェーズにおいても数学や推論能力の向上効果が持続することがアブレーションにより確認されている。
厳格な再現性とEU AI法に対応した評価フレームワーク（EvalEval）
Apertus 1.5は、ウェイトやデータセットだけでなく、トレーニングレシピやアブレーション結果に至るまで完全にオープン化されている。SFTミックス、プレファレンスプール、中間チェックポイント（base, SFT, RLVR, DPO）のすべてがHugging Face上で公開されており、研究者は各学習ステージがモデルの挙動に与える影響を追跡できる。
評価面では、EvalEval連合との協力により「Every Eval Ever (EEE)」スキーマを採用し、スコアだけでなく生成設定、アクセスの方法、評価者のメタデータまでを網羅した構造化評価レコード（Eval Card）を導入している。この取り組みは、EU AI法の規制要件（記事55など）やGPAIの実行規範における評価報告要素の大部分をカバーしており、オープンソースAIのガバナンスと透明性において新たなベンチマークを提示している。
開発者・エンジニア視点での考察
-
別体エンコーダーレスによる推論オーバーヘッドの削減： ビジョンエンコーダーを独立させず、トークナイザーの語彙拡張のみでマルチモーダルを実現しているため、VRAMの管理やデプロイ時のパイプライン構築がシンプルになり、テキストモデルと同等の推論スループットを維持しやすい設計となっている。
-
Thinking ModeとRLVRの相乗効果の活用： 推論トレースを含むSFTデータからスタートしたRLVRは、数学や複雑な論理推論ベンチマーク（AIMEなど）において、テキストのみのベースラインよりも高い性能向上を示す。カスタムドメインの推論特化型モデルをファインチューニングする際にも、初期SFT段階での思考プロセスの混入が極めて有効なアプローチとなる。
-
完全なデータ透明性を活いた法的・コンプライアンスリスクの回避：
apertus-data-transparencyや各データセット（FineWeb2-HQ-Plusなど）の出所やライセンスが明文化されているため、商用利用や厳格な規制（EU AI法など）が適用されるエンタープライズ環境において、データ起因の著作権・コンプライアンスリスクを精査しやすい。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
