Moonshot AI、2.8兆パラメータのオープンMoEモデル「Kimi K3」を発表：Kimi Delta Attentionと100万トークンコンテキストを搭載
Moonshot AIは、2.8兆パラメータを持つオープンMoE（Mixture-of-Experts）モデル「Kimi K3」のリリースを発表しました。このモデルは、独自に開発されたKimi Delta Attention (KDA) とAttention Residuals (AttnRes) を特徴とし、100万トークンの広大なコンテキストウィンドウとネイティブな視覚理解能力を兼ね備えています。Kimi K3は、長時間のコーディング、ナレッジワーク、深い推論タスクにおいて新たなベンチマークを設定し、オープンウェイトAIモデルの最前線を押し広げるものとして注目されています。
2.8兆パラメータのオープンMoEアーキテクチャ
Kimi K3は、総パラメータ数2.8兆を誇る世界最大級のオープンウェイトAIモデルであり、Moonshot AIはこれを「世界初のオープン3Tクラスモデル」と称しています。この巨大なモデルは、Mixture-of-Experts（MoE）アーキテクチャに基づいて構築されており、896のエキスパートのうち16をアクティブにする疎な設計を採用しています。これにより、実質的に約500億のパラメータが任意のトークンに対して活性化されるため、大規模なモデルサイズにもかかわらず計算効率を維持しています。
Kimi K3のMoE設計は、前世代のKimi K2と比較して約2.5倍の優れたスケーリング効率を実現しているとされています。このような疎結合アプローチは、モデルのトレーニングと推論における計算負荷を大幅に削減しながら、膨大な知識量と推論能力を維持することを可能にします。オープンウェイトモデルとしての提供は、研究者や開発者がこの先進的なアーキテクチャを深く探求し、独自のアプリケーションや最適化を構築するための道を拓くことになります。
革新的なKimi Delta AttentionとAttention Residuals
Kimi K3のアーキテクチャの核となるのは、Moonshot AIが独自に開発した「Kimi Delta Attention (KDA)」と「Attention Residuals (AttnRes)」という2つの革新的な機構です。KDAはハイブリッド線形アテンションメカニズムであり、100万トークン規模のコンテキストにおいて最大6.3倍という驚異的なデコーディング速度向上を実現します。KDAは、過去のモデル（Gated DeltaNetやMamba2など）が採用していた粗いゲーティング機構とは異なり、きめ細やかなチャネルワイズゲーティングを導入することで、メモリ管理とハードウェア効率を大幅に改善しています。これにより、各特徴次元が独立した忘却率を持つことが可能になり、長距離依存性のモデリングにおいてより優れた制御性と表現力を提供します。
一方、Attention Residuals (AttnRes) は、モデルの深度全体にわたる情報フローを改善する役割を担います。これは、表現を均一に蓄積するのではなく、選択的に表現を検索することで機能します。Moonshot AIのチームは、AttnResがトレーニング効率を約25%向上させながら、追加コストを2%未満に抑えることに成功したと述べています。Kimi K3のKDAとAttnResの組み合わせは、広大なコンテキストウィンドウを効率的かつ高性能に扱うための鍵となっています。Kimi Linearアーキテクチャでは、KDAレイヤーとMulti-Head Latent Attention (MLA) レイヤーを3:1の比率で組み合わせるハイブリッド構造が採用されており、効率性と表現力のバランスを最適化しています。
100万トークンコンテキストとマルチモーダル推論能力
Kimi K3の最も注目すべき特徴の一つは、その100万トークンという広大なコンテキストウィンドウです。これにより、モデルは非常に長い文書や複雑なコードベース、大量の情報を一度に処理し、より深い理解と一貫性のある応答を生成することが可能になります。この機能は、長時間のコーディング、広範なナレッジワーク、複雑なデータセットからの深い推論など、特に専門的なタスクにおいて大きな優位性をもたらします。
さらに、Kimi K3はネイティブな視覚理解能力を持つマルチモーダルモデルです。テキスト入力だけでなく、画像やビデオの入力も処理し、テキストとして出力することができます。また、「思考モード」と呼ばれる常時オンの推論モードも備えており、より複雑な問題解決に対して継続的な思考プロセスを適用できます。Moonshot AI自身の評価スイートでは、Kimi K3はBrowseComp、SWE Marathon、OmniDocBenchといったベンチマークで他モデルを上回る成績を収めました。一方で、FrontierSWEのようなより困難なソフトウェアエンジニアリングタスクでは、プロプライエタリモデルであるClaude Fable 5やGPT 5.6 Solに及ばないものの、Arena.aiのブラインドフロントエンドコーディングリーダーボードではこれらを上回る評価を得ており、実用的なプログラミングタスクにおけるその実力は高く評価されています。Kimi K3はOpenAI-SDK互換のAPIを通じて提供され、入力トークンあたり$3、出力トークンあたり$15という価格設定となっています。
開発者・エンジニア視点での考察
-
長文処理とコード生成のブレークスルー: Kimi K3の100万トークンコンテキストと、Kimi Delta AttentionおよびAttention Residualsによる効率的な長文処理能力は、ソフトウェア開発におけるパラダイムシフトをもたらす可能性があります。開発者は、巨大なコードリポジトリ全体をモデルに入力して、より精度の高いコードレビュー、自動デバッグ、リファクタリング提案を受けたり、複数ファイルにまたがる複雑な機能を一貫性を持って生成させたりすることが可能になります。特に、既存の長文LLMが抱える速度とコストの課題を緩和することで、大規模なエージェントシステムや、開発環境（IDE）とのより深い統合が実現され、開発ワークフローの自動化と効率化が飛躍的に進むでしょう。
-
オープンモデルエコシステムへの貢献とカスタマイズ性: 2.8兆パラメータというフロンティア級の規模でありながらオープンウェイトモデルとして提供されるKimi K3は、AI研究者および開発者コミュニティにとって計り知れない価値を持ちます。MoE、KDA、AttnResといった最先端のアーキテクチャが公開されることで、その内部動作の徹底的な分析、さらには特定のドメインやタスクに特化したファインチューニング、モデルの最適化、新しい研究方向性の探索が促進されます。これは、商用アプリケーションの開発だけでなく、AI技術の基礎研究とオープンイノベーションの加速に大きく貢献し、AIエコシステム全体の発展を促すものと考えられます。
-
マルチモーダル機能と既存ツールとのシームレスな統合: Kimi K3のネイティブな視覚理解能力と、OpenAI-SDK互換のAPIは、開発者が既存のインフラやワークフローを維持しながら、モデルの強力な機能を活用できるという大きな利点を提供します。これにより、テキストと画像を組み合わせた高度なコンテンツ生成、UI/UXデザインのプロトタイピング、図表を含むドキュメントの自動解析、さらにはビデオコンテンツからの情報抽出や要約など、マルチモーダルAIを活用した革新的なアプリケーションの開発が加速されます。開発者は、APIを通じてK3の機能を容易に組み込み、多様な入力形式に対応する次世代のAI製品やサービスを構築できるでしょう。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
