Granite 4.2 LLMs: エージェンティックAIに向けたIBMの先進的構築手法
IBMは、エージェンティックワークフローに特化した大規模言語モデル（LLM）の最新ファミリーである「Granite 4.2」を発表しました。本レポートでは、AI開発者および研究者向けに、その構築方法、技術的特徴、およびエンタープライズAIにおける可能性を深く掘り下げて解説します。Granite 4.2は、3B、8B、30Bの3つのパラメータサイズで提供され、Apache 2.0ライセンスの下で公開されており、商用利用および研究利用が可能です。
Granite 4.2 LLMのアーキテクチャとモデル設計
Granite 4.2は、デコーダーのみの密なトランスフォーマーアーキテクチャを基盤としています。 このモデルファミリーの核となるコンポーネントには、32個のアテンションヘッドと8個のKVヘッドを持つGrouped Query Attention（GQA）が含まれており、効率的な推論を実現します。位置エンコーディングには、θ = 10,000,000のRotary Position Embedding（RoPE）が採用されており、長文コンテキストの処理能力を向上させています。
フィードフォワードネットワークにはSwiGLUアクティベーションを持つMLP（隠れ層サイズ32768）が使用され、正規化にはRMSNorm（ε = 1e-5）が適用されています。 入力/出力埋め込みは分離されており（非共有）、モデルの柔軟性を高めています。計算精度はbfloat16で、効率的な学習と推論を可能にしています。 この堅牢なアーキテクチャは、3B、8B、30Bの各モデルサイズに共通しており、多様なエンタープライズ要件に対応するためのスケーラビリティと互換性を提供します。
特に、3B、8B、30Bの各モデルは、内蔵された<think>...</think>の連鎖的思考を活用することで、推論集約型タスクで強力な性能を発揮します。 また、フル思考（デフォルト）、非思考、低労力思考という柔軟な思考モードをサポートしており、ユーザーはクエリごとに深さとレイテンシのバランスを取ることが可能です。
革新的な多段階学習パイプライン
Granite 4.2の際立った特徴は、その先進的な多段階学習パイプラインにあります。まず、約15兆トークンにおよぶ大規模なデータセットでゼロから事前学習が行われ、5段階のスケジュールを通じてコンテキストウィンドウが512Kトークンまで拡張されます。 これにより、モデルは広範な知識と長距離の依存関係を把握する能力を獲得します。
事前学習後、約720万件の連鎖的思考、推論、エージェンティック軌跡データを用いた教師ありファインチューニング（SFT）が実施されます。 学習の中心となるのは、その後の多段階強化学習（RL）パイプラインです。各段階は特定の能力を目的とした個別の学習実行であり、前の段階のチェックポイントからウォームスタートされます。
すべてのGranite 4.2モデルは、検証可能な報酬に基づく基礎的RL（Foundational RL）を受けます。これには、検証可能な解答を持つ数学問題、隠れた単体テストで採点されるコード、形式チェッカーによる指示従順タスクなどが含まれます。 さらに、8Bと30Bモデルのみが「エージェンティックRL」ブロックに進みます。この3つの段階では、モデルが実際の環境内で行動し、タスクが実際に解決されたかどうかに基づいて報酬が与えられます。 例えば、ソフトウェアエンジニアリング段階では、OpenHandsハーネスによって、モデルは実際のリポジトリを編集し、隠れたテストスイートをパスした場合にのみ成功とみなされます。 この学習プロセスには、IBMのCodeAlchemyパイプラインを使用して生成された1兆トークンの合成コードも利用されており、コーディング能力の向上に寄与しています。
エージェンティックAIとエンタープライズ対応
Granite 4.2は、単に応答を生成するだけでなく、タスクを完了することを目的とした「エージェンティックAI」のために設計されています。 これらの言語モデルは、行動する前に計画を立て、パスを決定する前にトレードオフを検討し、実世界で問題が発生する前にミスをキャッチするのに役立つ、ネイティブのステップバイステップ推論という「思考」能力を備えています。
エージェンティックAIの重要な要素である推論、ツール利用、コーディング、指示従順、および音声認識能力を組み合わせることで、Granite 4.2はエンタープライズ用途で要求される複雑な多段階ワークフローに対応します。 特に、ソフトウェアエンジニアリングエージェントは、コードベースをナビゲートし、多段階の開発タスクを処理し、ターミナル環境でシームレスに操作できます。
また、Granite 4.2はApache 2.0ライセンスの下でリリースされており、企業はライセンス制限なしにダウンロード、ファインチューニング、および本番環境への導入が可能です。 その密なアーキテクチャは幅広い互換性をサポートし、複数のモデルサイズはチームに柔軟性をもたらします。これにより、クラウド、オンプレミス、エッジ環境といった多様なインフラストラクチャでのデプロイメントが可能です。
開発者・エンジニア視点での考察
-
Apache 2.0ライセンスとエンタープライズでの自由な活用: Granite 4.2がApache 2.0ライセンスで提供されることにより、開発者は商用利用や派生モデルの作成において法的な制約を心配することなく、モデルを自由にカスタマイズ・デプロイできる。これは、特に機密データを扱う企業環境において、プライバシーとセキュリティを確保しつつ、自社ニーズに深く合わせたAIソリューションを構築する上で極めて大きなメリットとなる。
-
柔軟な思考モードによるパフォーマンス最適化:
<think>...</think>を活用した「フル思考」「非思考」「低労力思考」といった柔軟な思考モードの導入は、開発者にとってレイテンシと推論深度のバランスを動的に調整できる強力な手段を提供する。リアルタイム応答が求められるインタラクティブなアプリケーションでは「非思考」や「低労力思考」を選択して応答速度を優先し、複雑な問題解決が必要なバックエンド処理では「フル思考」を用いて推論品質を最大化するなど、ユースケースに応じた最適なパフォーマンスチューニングが可能となる。 -
多段階強化学習による高度なエージェント構築: SFTに続く多段階強化学習パイプライン、特に実環境での「エージェンティックRL」は、開発者が単なるテキスト生成を超えた、自律的にタスクを遂行するエージェントを構築するための基盤を提供する。数学問題、コーディング、指示従順、さらにはソフトウェアエンジニアリングやターミナル操作といった具体的な環境での報酬学習は、従来のLLMでは困難だった複雑な多段階タスク処理能力をモデルに付与し、より信頼性の高いエージェンティックAIアプリケーションの開発を促進する。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
