Mistral AI、低遅延かつ高表現力の多言語TTSモデル「Voxtral TTS」を発表
Mistral AIは、低遅延、高表現力、そして迅速な適応性を特徴とする革新的なテキスト音声合成（TTS）モデル「Voxtral TTS」を発表しました。このモデルは、リアルタイム音声エージェントアプリケーション向けに設計されており、自然で人間のような会話体験を提供することを目指しています。
Voxtral TTSの概要と主要機能
Voxtral TTSは、最大2分間の音声をネイティブに生成し、APIでは任意の長さの生成をスマートなインターリーブ処理で対応します。 主要な特徴は以下の通りです。
- 多言語対応: 英語、フランス語、ドイツ語、スペイン語、オランダ語、ポルトガル語、イタリア語、ヒンディー語、アラビア語の9言語に対応し、文化的なニュアンスや典型的な発話パターンを捉えるように設計されています。
- ゼロショット音声クローン: わずか3秒程度の短い参照音声から、声だけでなく、微妙なアクセント、抑揚、イントネーション、さらには不流暢さといった話者の個性を瞬時に適応させ、クローン生成が可能です。これにより、SSMLタグや明示的な感情ラベルを使用することなく、参照音声からトーン、リズム、感情を推論する「Voice-as-an-instruction」アプローチを実現しています。
- 低遅延ストリーミング: 音声エージェントアプリケーションにとって不可欠な低遅延性能を実現しています。典型的な10秒の音声サンプル（500文字）に対し、モデルの遅延は70msであり、リアルタイムファクター（RTF）は約9.7倍です。これはリアルタイムの会話型AIエージェントやライブダビングパイプラインに十分な速度です。
- 軽量かつ効率的: Voxtral TTSは40億（または41億）パラメーターのモデルであり、効率的で費用対効果が高く、企業向け音声アプリケーションへの容易な適応性を持つように設計されています。
- オープンウェイトとAPI提供: モデルのウェイトはHugging FaceでCC BY-NC 4.0ライセンスの下で公開されており、商用利用も可能なAPIは1,000文字あたり0.016ドルの費用で提供されています。
革新的なハイブリッドアーキテクチャ
Voxtral TTSは、表現豊かな多言語音声生成を実現するために、独自開発のハイブリッドアーキテクチャを採用しています。
-
ハイブリッドコーデック「Voxtral Codec」: 音声プロンプトは、ハイブリッドVQ-FSQ量子化スキームでゼロから訓練された低ビットレートの音声トークナイザーであるVoxtral Codecを介してトークン化されます。 これには、ASR（自動音声認識）から蒸留されたセマンティックトークンと、有限スカラー量子化（FSQ）されたアコースティックトークンが含まれます。 このコーデックは、音声生成における2つの根本的に異なる問題（意味論と音響学）を明確に分離します。
-
自己回帰デコーダー: ファクタリングされた表現を受け、デコーダーオンリーのトランスフォーマーがセマンティックトークンシーケンスを自己回帰的に予測します。 これは、80msフレームあたり1つのセマンティックトークンを生成し、シーケンス全体にわたる長距離の話者の一貫性を維持する役割を担います。
-
フローマッチングトランスフォーマー: 軽量なフローマッチングモデルが、デコーダーの状態に条件付けられてアコースティックトークンを予測します。 これは、離散的な自己回帰に頼ることなく、音色、プロソディ、表現力を処理し、ガウスノイズからアコースティックトークンをデノイズします。
このアーキテクチャにより、Voxtral TTSは参照音声から感情、話し方、アクセントを瞬時に捕捉し、きめ細やかな表現を可能にしています。
高性能と実用性を示すベンチマーク
Mistral AIは、Voxtral TTSの性能を確立されたベンチマークと人間による評価を通じて検証しています。自動評価では、SEED-TTSやMiniMax-TTSにおいて高い明瞭性と自然性を達成し、ElevenLabs v3の話し手の類似性スコアを上回っています。
多言語ゼロショット音声クローンにおける人間による評価では、Voxtral TTSはElevenLabs Flash v2.5と比較して68.4%の勝率を達成し、より自然で表現豊かな音声が好まれました。 また、主要なプロプライエタリシステムと比較しても、表現力豊かな主要音声の評価で競争力のある性能を示しています。
リアルタイムファクター（RTF）は、H200シングルGPUで0.302を達成し、高速な推論能力を裏付けています。 DPO（Direct Preference Optimization）を用いた後処理も行われ、合成データでの1エポックが最適な結果をもたらすことが発見されています。
開発者・エンジニア視点での考察
-
リアルタイム音声エージェント開発の加速: Voxtral TTSの70msという極めて低いモデル遅延と、3秒という短い音声サンプルでのゼロショット音声クローン機能は、リアルタイム対話型AIエージェントの開発において大きなアドバンテージとなります。これにより、顧客サポートボット、スケジューリングアシスタント、ライブ翻訳システムなど、多様な音声UI/UXの実装が現実的になります。
-
オープンウェイトによるカスタマイズ性と研究機会: CC BY-NC 4.0ライセンスで公開されているオープンウェイトモデルは、研究者や開発者がモデルの内部動作を深く理解し、特定のユースケースやドメインに適応させるための微調整、あるいは全く新しいアプリケーションへの統合を可能にします。これにより、AIスタック全体の制御とカスタマイズが容易になり、ベンダーロックインのリスクを低減できます。
-
「Voice-as-an-instruction」アプローチによる表現力豊かな音声制御: SSML（Speech Synthesis Markup Language）タグや手動での感情アノテーションを不要とする「Voice-as-an-instruction」は、開発者にとって音声表現の制御を大幅に簡素化します。参照音声クリップから直接、話し手のトーン、リズム、感情的デリバリーを推論できるため、より自然で人間らしい対話フローを、より少ない労力で実現できる可能性があります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
