Cohere、初の開発者向けコードモデル「North Mini Code」を発表：MoEアーキテクチャで高度なエージェント型コーディングを実現
Cohere、初の開発者向けコードモデル「North Mini Code」を公開：概要と主要機能
Cohereは、開発者向けの初のモデルとして「North Mini Code」をHugging Face上で公開しました。このモデルは、総パラメータ数300億、アクティブパラメータ数30億の疎なMixture-of-Experts（MoE）アーキテクチャを採用したデコーダーのみのTransformerベースモデルであり、特にコード生成、エージェント型ソフトウェアエンジニアリング、およびターミナルタスクに最適化されています。Apache 2.0ライセンスの下でオープンウェイトとして提供されており、開発者はHugging Faceを通じてモデルの利用やダウンロードが可能です。
North Mini Codeは、特に複雑なソフトウェアエンジニアリングワークフローとターミナルベースのエージェントタスクに対応するために設計・学習されました。その効率的なアーキテクチャにより、インフラコストを大幅に削減しつつ、高いパフォーマンスを実現します。入力コンテキスト長は256Kトークン、最大出力長は64Kトークンをサポートしており、これにより大規模なコードベースの理解や、一度に多くのコードを生成することが可能です。
技術的詳細：MoEアーキテクチャと効率的なアテンションメカニズム
North Mini Codeの核心は、その革新的なMixture-of-Experts (MoE) アーキテクチャにあります。このモデルは、合計128のエキスパートブロックを持つフィードフォワードブロックを採用し、各トークンに対して8つのエキスパートのみがアクティブ化されます。これにより、総パラメータ数300億にもかかわらず、推論時のアクティブパラメータ数を30億に抑えることができ、効率的な計算と低い推論コストを実現しています。
また、RoPE（Rotary Positional Embeddings）を用いたスライディングウィンドウアテンションと、位置埋め込みなしのグローバルアテンションを3:1の比率で交互に適用する独自の効率的なアテンション実装も特徴です。これにより、長いコンテキストを効果的に処理しつつ、計算負荷を最適化しています。フィードフォワードブロック内の各エキスパートはSwiGLU活性化関数を持つFFNブロックであり、ルーターはシグモイド活性化関数を適用してからTop-k選択を行います。
モデルの学習は、エージェント型コーディングに特化した2段階のカスケード型教師ありファインチューニング（SFT）と、検証可能な報酬による強化学習（RLVR）を用いて行われました。この学習手法により、エージェントとしての高い性能が引き出されています。
パフォーマンスとベンチマーク結果
North Mini Codeは、エージェント型コーディングタスクにおいて強力な性能を発揮しています。Artificial AnalysisのCoding Indexでは33.4というスコアを達成し、Qwen3.5 (35B-A3B)、Gemma 4 (26B-A4B)、Devstral Small 2 (24B Dense)といった同規模のオープンソースモデルだけでなく、Nemotron 3 Super (120B-A12B) やMistral Small 4 (119B-A6B) といったより大規模なモデルをも凌駕しています。
評価には、SWE-Bench Verified、SWE-Bench Pro、Terminal-Bench v2、Terminal-Bench Hard、SciCode、LiveCodeBench v6といった複数のベンチマークが使用されました。特に、SWE-BenchではSwe-Agent harness v1.1.0を、Terminal-Bench v2ではReAct harnessを用いてエージェント型コーディング能力が測定されています。
また、Artificial Analysis Intelligence Indexでは27.6を記録し、同クラスのモデルと比較して平均を上回るインテリジェンスを示しています。推論速度も毎秒約209トークンと高速ですが、評価においては平均よりも多くの出力トークン（75Mトークン）を生成する傾向があり、やや冗長性が見られます。
開発者・エンジニア視点での考察
-
オンプレミスおよびエッジデバイスでの実行可能性の拡大: North Mini Codeの総パラメータ300億に対し、アクティブパラメータが30億というMoE設計は、従来の密なモデルと比較して大幅に低い計算リソースで高品質なコード生成およびエージェントタスクを実行できることを意味します。これにより、高性能なGPUが限られている環境や、データプライバシー要件が厳しいオンプレミス環境、さらにはエッジデバイス上でのAIエージェントの展開が現実的になり、開発者はより多様なアプリケーションシナリオでAIを統合できるようになります。
-
エージェント型開発パラダイムの加速とツール連携の深化: 本モデルは、エージェント型ソフトウェアエンジニアリングに特化してトレーニングされており、SWE-BenchやTerminal-Benchといったエージェントタスクベンチマークで高い性能を示しています。 これは、AIが単にコードを生成するだけでなく、問題解決のために複数のステップを踏み、ツールを自律的に利用する能力が強化されていることを示唆しています。開発者は、ReActなどのエージェントハーネスとの連携を強化することで、より複雑なソフトウェア開発ライフサイクル（SDLC）の自動化や、IDE（例: VS Code）内での高度なコードアシスタントの構築を効率的に進めることが可能になります。
-
オープンソースエコシステムへの貢献とコミュニティ駆動型イノベーションの促進: Apache 2.0ライセンスによるオープンウェイトでの公開は、モデルの透明性とアクセス性を高め、研究者や開発者が自由にモデルを改変、再配布、商業利用できることを意味します。 この戦略は、モデルの改善サイクルを加速させ、特定のドメインに特化したファインチューニングや、新しいエージェントフレームワークへの統合など、コミュニティ主導のイノベーションを促進します。これにより、Cohereはコード生成AI分野におけるデファクトスタンダード確立に向けた強力な足がかりを築くことができるでしょう。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
