Inkling 2 Mini登場:ループ型MoEで実現するローカル推論の新設計
ループ構造で物理層数を抑え、48回の層訪問を実現
Inkling 2 Miniは、総物理パラメータ約260億、トークンごとのアクティブパラメータ約30億を持つマルチモーダルMoEモデルである。デコーダは24層の物理層から構成されるが、中央の12層(層6〜17)を3回反復する。前半6層と後半6層はそれぞれ1回ずつ処理するため、各トークンの層訪問数は合計48回となる。つまり、チェックポイントに保持する異なる層の数を抑えながら、より深い計算経路を構成する設計だ。
反復部分の重みは3パスで共有される一方、各パスの計算状態は単純に独立していない。各パスは前半6層の出力を入力として開始し、前パスの出力から得たメッセージを受け取って計算を更新する。各ループ層は学習済みクエリを用いて前パスの情報を読み取り、ゲート制御器が現在の入力をどれだけ保持し、メッセージをどの程度加えるかを決定する。2・3回目のパスでは、各コア層が前パスの2つの残差ブロックを参照し、ランク64のゲート4つがQ・K・V・MoE入力向けのメッセージを混合する。
この方式は層の重みを再利用してモデルの保存容量を抑えるが、推論時に48回の訪問そのものを省くわけではない。各訪問に固有のKV状態と短い畳み込み状態も保持されるため、実際のメモリ要件やレイテンシはパラメータ数だけでは判断できない。
局所・全体注意とMoEの構成、ベンチマークでの位置づけ
隠れ次元は2,304、各エキスパートの中間次元は1,152。各層訪問では128個のSwiGLUエキスパートから8個を選び、選択スコアを正規化したうえで重みを8倍する。注意機構はクエリヘッド24、KVヘッド8で、相対位置ロジット、学習可能なシンク、出力ゲートを備える。6層ごとのブロックはスライディングウィンドウ注意5層と全体注意1層から成り、局所ウィンドウは最大1,024トークン。全体注意層では動的なキー・バリュー畳み込みも用いる。モデルは画像・テキスト入力を受け付け、コンテキスト長は100万トークンとされる。
記事によると、Artificial Analysis Intelligence Index v5を含む48ベンチマークで、比較対象とした4モデルに対し32項目で首位だった。対象分野はコーディング、自律的な検索・ツール利用、視覚の解釈と生成、推論・知識、安全性・アラインメントにまたがる。コーディングではFrontierCode v2.0で首位、Terminal-Bench 4.0ではQwen3.8-27Bと同率、AutomationBench-AA v1.0.6では同モデルに後れを取ったという。記事自身も、比較結果を「vibe tests」に基づくものとして、さらなる検証が必要だと述べている。したがって、これらの結果は有望な初期評価として扱い、実運用では対象タスクと評価条件を合わせた追試が必要だ。
ローカル実行からサーバー推論までの選択肢
配布形式と実行環境は複数用意されている。Transformersでは固定3パス版と、パス数を変更できる研究用チェックポイントを扱える。研究用版はtext_configのloop_num_passesでパス数を設定でき、1または2パスに減らすと推論が速くなる一方、生成品質が多少低下する可能性がある。記事では動作確認済みだが、詳細な評価は未実施としている。
ローカル実行向けには、llama.cppベースのLlama AppとGGUF量子化版(4-bit IQ4_NL、8-bit Q8_0)が提供される。MLXでは画像・テキスト入力を含むサポートがあり、元のチェックポイントを読み込む場合は、NVFP4とMXFP8のネイティブ混合精度量子化を再変換せずに利用できる。サーバー用途ではSGLangがDay 0対応を提供し、記事の起動例ではSM103を前提条件としている。
さらにSGLangでは、3層のDSparkドラフターによる投機的デコーディングを利用できる。ドラフターはデコーダの訪問位置5・23・41の入力と、位置48の最終正規化状態を参照し、候補トークンを提案してターゲットモデルが検証する。記事ではNVIDIA B300 GPU 1基、入力1,024トークン・出力1,024トークン、同時実行数1・4・16・64の条件で速度を測定したと説明しているが、提示された本文には測定値そのものがないため、具体的な速度向上率は判断できない。DSparkの導入では、速度だけでなくドラフト用メモリの追加コストも合わせて評価すべきだ。
開発者・エンジニア視点での考察
-
「パラメータ数」ではなく実行状態を含めて容量を見積もる。 重み共有によって保存する物理層は24層に抑えられるが、各トークンは48回の層訪問を行い、訪問ごとのKV・短畳み込み状態も必要になる。ローカル配置では、重みの量子化形式に加え、コンテキスト長、同時実行数、生成長を変えたピークメモリを実測するのが重要だ。
-
可変ループは品質・レイテンシの制御ノブとして段階的に検証する。 研究用版で1〜3パスを切り替えられるため、タスク別に品質と遅延のトレードオフを測定できる。ただし、記事は短縮時の品質低下の可能性を示す一方、十分なベンチマーク評価は行っていない。固定版との同一プロンプト比較、画像入力・ツール呼び出しを含む回帰テストを用意し、用途別の許容品質を決めるべきだ。
-
配布形式ごとに再現性と性能の評価軸を分ける。 Transformers、GGUF、MLX、SGLangでは、量子化、カーネル、実行時の状態管理が異なる。元チェックポイントのNVFP4・MXFP8利用とGGUFの4-bit/8-bit利用を同一条件として扱わず、品質、スループット、初回応答時間、メモリ使用量を個別に記録する。SGLangのDSparkも、同時実行数を振った測定で通常デコードと比較し、追加メモリを含めた実効上の利点を確認したい。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


