Moonshot AI「Kimi K3」：2.8兆パラメータのオープンウェイトモデルがAI新時代を切り開く
Moonshot AI「Kimi K3」発表：2.8兆パラメータのオープンウェイトモデル
中国のAIラボMoonshot AIは、同社史上最も高性能なモデル「Kimi K3」を発表しました。このモデルは2.8兆パラメータを誇り、初の「オープン3Tクラスモデル」として位置づけられています。Kimi K3は現在、同社のウェブサイトおよびAPIを通じて利用可能であり、2026年7月27日までにオープンウェイトでのリリースが約束されています。このモデルは、既存のオープンソースモデルであるDeepSeekの1.6兆パラメータのv4 Proから「3Tクラス」の座を引き継ぎます。
Kimi K3は、長期間にわたるコーディング作業、エンドツーエンドの知識処理、推論、ネイティブなマルチモーダル理解（テキストとビジョン）といった広範なタスクに対応するために設計されています。特に、大規模なコードベースのナビゲーション、ツール利用、デバッグ、画像、ログ、テスト、ランタイムフィードバックに対する反復処理において優れた能力を発揮します。
革新的なアーキテクチャと効率化技術
Kimi K3は、オートレグレッシブなMixture-of-Experts（MoE）トランスフォーマーを基盤とし、ネイティブのビジョン機能を統合しています。そのアーキテクチャには、複数の重要な革新が導入されており、前世代のK2と比較して約2.5倍のスケーリング効率改善を実現しています。
主要な技術的特徴は以下の通りです。
- Kimi Delta Attention (KDA): 標準的な二次注意力メカニズムを一部のレイヤーで置き換えるハイブリッド線形注意力メカニズムです。KDAは、モデルの1Mトークンのコンテキストウィンドウ全体で注意力の計算コストを削減しながら、重要なレイヤーでの完全な表現力を維持します。
- Attention Residuals (AttnRes): 標準的な残差接続の代替として機能し、各レイヤーが任意の以前のレイヤーから表現を選択的に取得することを可能にします。これは、異なるエキスパートが異なる深さで活性化するMoEアーキテクチャにおいて特に重要です。
- Stable LatentMoE: 896個のエキスパートを管理し、トークンあたり16個が活性化する（約500億の有効パラメータに相当）MoEフレームワークです。
- MXFP4/MXFP8量子化と量子化対応トレーニング (QAT): K3は、トレーニング後の量子化ではなく、教師ありファインチューニング段階から量子化対応トレーニング（QAT）を採用しています。MXFP4ウェイト（4ビット浮動小数点、ブロックごとのスケーリングファクター付き）とMXFP8アクティベーションを使用し、量子化エラーをトレーニング中に補償することで、品質の劣化を大幅に軽減します。MXFP4はNVIDIA Blackwell GPUやAMD MI400アクセラレータによってネイティブにサポートされており、展開のハードウェアフレンドリーさも特徴です。
これらのアーキテクチャの進化は、長大なシーケンスと深層モデル全体で情報がよりスムーズに流れるように設計されており、計算効率を大幅に向上させています。
ベンチマークとコストパフォーマンスの分析
Kimi K3は、その性能を複数のベンチマークで示しています。Moonshot AIの自己評価では、Kimi K3は主にClaude Opus 4.8 maxやGPT-5.5 highを上回る一方、Claude Fable 5やGPT-5.6 Solには劣るとされています。
- Artificial Analysisレポート: 長期間の知識作業評価において、Kimi K3はEloスコア1547を達成し、Kimi K2.6から732ポイント向上しました。これはClaude Fable 5に次ぐスコアです。
- Arena.aiのFrontend Codeアリーナ: Kimi K3は、このアリーナでトップモデルとなり、Claude Fable 5をも凌駕しています。
- SWE-bench Verified: ソフトウェアのバグ修正とコード推論において60.4%を達成し、オープンソースモデルの中で新たなベンチマークを設定しました。
- GPUコンパイラ開発: Kimi K3は、MiniTritonというTritonライクなコンパイラをゼロから構築する能力も示しており、Tritonやtorch.compileと同等以上のパフォーマンスを実現しています。
Kimi K3の価格設定は、100万入力トークンあたり3ドル、100万出力トークンあたり15ドルとされており、これは以前のKimi K2.6の0.95ドル/4ドルから大幅な値上げです。この価格帯はAnthropicのClaude Sonnetシリーズと同レベルであり、中国のAIラボがリリースしたモデルとしてはこれまでで最も高価となります。100万トークンという長大なコンテキストウィンドウをサポートしながら、コンテキスト長によるティアリングのない均一な従量課金モデルを提供しています.
開発者・エンジニア視点での考察
-
3Tクラスオープンウェイトモデルの可能性: Kimi K3のオープンウェイトリリース（2026年7月27日予定）は、企業や研究機関にとって、最先端の性能を持つ大規模モデルを自社インフラで実行できる新たな機会を提供します。特に、2.8兆パラメータという規模とMXFP4量子化のサポートは、NVIDIA BlackwellやAMD MI400などの最新ハードウェアにおける効率的な推論と、コスト効率の高い運用設計のベンチマークとなるでしょう。これは、独自データでのファインチューニングやエッジデバイスへの最適化など、特定のユースケースに合わせたカスタマイズを加速させる可能性があります。
-
アーキテクチャ革新の応用: Kimi Delta Attention (KDA) や Attention Residuals (AttnRes) といったKimi K3の革新的なアーキテクチャ要素は、長大なコンテキストと大規模なMoEモデルの効率的な運用における重要なブレークスルーを示しています。AIエンジニアは、これらの技術がどのように1Mトークンという前例のないコンテキストウィンドウを実現し、計算コストを管理しているかを深く分析することで、自身のモデル設計や最適化戦略に組み込むヒントを得られるでしょう。特に、低ビット量子化とQATの組み合わせは、メモリと計算リソースが制約される環境下での大規模モデル展開の新たな標準を提示します。
-
エージェント型AI開発の加速と新たな評価指標: Kimi K3のFrontend Codeアリーナでのトップスコアや、GPUコンパイラの開発、3Dオープンワールドゲームの構築といった実績は、長期間にわたるエージェント型タスク、特に複雑なソフトウェア開発やマルチモーダルな推論が要求されるシナリオにおいて、その強力な能力を裏付けています。これにより、開発者はKimi K3を基盤として、より自律的で複雑なエージェントシステムの構築を試みることが可能になります。また、「pelican benchmark」が現代のモデル評価に不十分であるという議論は、実際のアプリケーションにおけるエージェントの長期的なパフォーマンスやツール利用能力を評価するための、より洗練された新しいベンチマーク開発の必要性を示唆しています。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
