iPhoneで動作する初の27B級マルチモーダルAI「Bonsai 27B」がエッジAIの新時代を切り開く
iPhone上で動作する27B級マルチモーダルAI「Bonsai 27B」の登場
PrismMLは、その最新AIモデル「Bonsai 27B」を発表し、iPhone上で動作する初の主要な270億パラメータ級AIモデルであると主張しています。これは、これまでクラウドインフラストラクチャに依存していた大規模AIモデルの能力をコンシューマデバイスにもたらす画期的な進歩です。Bonsai 27Bは、高度な推論、コーディング、およびエージェントワークフロー向けに構築されたマルチモーダルモデルであり、テキストだけでなく画像も受け入れます。特に、1-bit Bonsai 27Bは、3.9GBという極めて低いメモリフットプリントを実現しており、iPhone 17 Proのようなハイエンドモバイルデバイス上で約4GBのメモリ予算内に収まり、11トークン/秒の推論速度を達成します。これにより、従来の27B級モデルでは非現実的であったオンデバイスAIの新たな可能性が開かれます。PrismMLは、モデルのサイズ、メモリ、消費電力、展開フットプリントあたりの能力を最大化する「Intelligence Density」という哲学に基づいています。
低ビット量子化とハイブリッドアーキテクチャによるブレイクスルー
Bonsai 27Bのこの画期的な実現は、PrismMLのエンドツーエンド低ビットアーキテクチャと、Qwen3.6-27Bをベースとしたハイブリッドアテンションアーキテクチャに由来します。モデルは、1-bitバイナリと1.58-bit（実効1.71ビット）ターナリの2つのバリアントで提供されます。1-bitバリアントは、各重みを{-1, +1}のバイナリ値に制限し、1.125の実効ビット/重みで、フルプレシジョンモデルの89.5%以上のベンチマーク性能を維持します。一方、ターナリバリアントは{-1, 0, +1}の3値に制限され、1.71の実効ビット/重みで、フルプレシジョンモデルの95%以上のベンチマーク性能を達成しながら、約5.9GBのサイズに収まります。これらの低ビット表現は、埋め込み、アテンション、MLP、LMヘッドといった言語ネットワーク全体に適用され、高精度へのエスケープハッチはありません。また、マルチモーダル機能のために、0.46Bのビジョンタワーが4-bit（HQQ）で個別に保持されており、スクリーンショットやカメラ入力などの視覚情報を直接処理できます。さらに、262Kトークンという長大なコンテキストウィンドウをサポートし、投機的デコーディング（DSparkドラフターレイヤー）により、H100 GPUで最大1.37倍のデコード速度向上を実現します。
パフォーマンスベンチマークと開発者エコシステムへの影響
Bonsai 27Bは、Appleデバイス（Mac、iPhone、iPad）ではMLX、NVIDIA GPUではCUDAを介してネイティブに動作し、それぞれのハードウェア向けにカスタム設計された低ビットカーネルを活用しています。パフォーマンス面では、1-bit Bonsai 27BはiPhone 17 Proで11トークン/秒を記録し、NVIDIA GeForce RTX 5090では1-bitで163トークン/秒、ターナリで134トークン/秒、M5 Maxでは1-bitで87トークン/秒、ターナリで58トークン/秒という高いスループットを示しています。これにより、従来のモデルが54GB（16-bit）から18GB（4-bit）を必要としていたのに対し、Bonsai 27Bははるかに小さなフットプリントで同等の能力を提供します。PrismMLは、モデルウェイトをApache 2.0ライセンスの下で無料で提供しており、開発者向けの限定期間のプレビューAPIも提供しています。CEOのBabak Hassibi氏によると、Appleを含む企業がPrismMLの技術を評価しており、エッジデバイスでのAI性能への関心が高まっていることを示唆しています。
開発者・エンジニア視点での考察
-
オンデバイス・エージェントアプリケーションの可能性拡大: 1-bit Bonsai 27Bの3.9GBというサイズとiPhone上での実行能力は、これまでクラウドに依存していた複雑な推論、コーディング、ツール利用、マルチステッププランニングといったエージェントワークフローを直接モバイルデバイス上で実現する道を拓きます。これにより、ネットワーク接続に依存しない、より高速でプライベートな次世代のAIアプリケーション開発が可能になります。
-
プライバシー強化型AIの標準化: ローカルデバイス上での大規模モデル実行は、ユーザーデータがデバイス外に送信されるリスクを大幅に削減し、プライバシー保護の観点から非常に重要です。個人情報や機密データを扱うアプリケーションにおいて、オンデバイスAIがデファクトスタンダードとなる可能性があり、開発者はプライバシーを設計の中心に置いた新しいサービスモデルを検討する必要があります。
-
既存クラウドLLMワークフローの最適化とハイブリッド戦略: Bonsai 27Bのような効率的なエッジAIモデルの登場は、既存のクラウドベースLLMアプリケーションにおける計算コストとレイテンシの課題を解決する手段を提供します。開発者は、シンプルなタスクや個人に特化した処理をオンデバイスで実行し、より大規模で複雑な推論のみをクラウドにオフロードするハイブリッドなAIアーキテクチャを設計することで、コスト効率とユーザーエクスペリエンスを向上させることができます。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
