NVIDIA Nemotron 3.5 Transcribe:プロンプト制御と大規模オープンデータが拓く音声認識の新地平
アーキテクチャとマルチタスク性能:Mamba-Transformerハイブリッドによる効率化
NVIDIAが発表した「NVIDIA Nemotron 3.5 Transcribe」は、音声認識(ASR)、話者識別(ダイアリゼーション)、翻訳、音声質問応答(Audio Q&A)の各機能を単一のチェックポイントに統合したオープンウェイトのプロンプト制御型モデルである。約30Bの総パラメータ数を持ちながら、音声エンコーダーとハイブリッドMamba-Transformer混合専門家(MoE)言語モデルの組み合わせにより、1トークンあたり約4Bのアクティブパラメータで動作する設計となっている。これにより、アクティブパラメータ数に対する精度フロンティアにおいて高い効率性を実現している。
対応言語は40言語の書き起こし、31言語の英訳・英会話翻訳、13言語の話者属性付与をサポートし、最長1時間の音声記録および最大8人の話者ラベル付けを処理可能である。Hugging Face Open ASR Leaderboard(英語部門)では、オープンウェイトモデルとして第1位の平均単語誤り率(WER)5.33%を記録。さらに、David AIのダイアリゼーション・ベンチマークにおいても21言語にわたり最も低い話者誤り率(DER: 18.26%)を達成し、音声処理における統合モデルとしての実力を証明している。
Granary v2データキュレーションパイプラインとNeMo Speechによる適応メカニズム
モデルの柔軟なプロンプト制御を支える基盤となっているのが、オープンデータキュレーションパイプライン「Granary v2」である。NVIDIA NeMo Curatorを用いて構築された同パイプラインは、463,062時間(48言語、16ソースコーパス)に及ぶマルチリンガル音声データを処理し、整然とした書き起こしバリアント、タスクラベル、品質メタデータを提供する。
Granary v2は、1つの発話に対して「非流暢性を残したテキスト正規化」「逆テキスト正規化(ディスフルーエンシーあり/なし)」といった複数のトレーニングターゲットを自動生成する。これにより、開発者は自然言語によるプロンプトで出力フォーマットを動的に制御できる。さらに、医療分野のケーススタディ(Eka Careのベンチマーク)では、合成音声やドキュメントから生成した約153時間の音声データとLoRAを用いたファインチューニングを実施し、評価対象のスピーカーに対するWERをベースラインから45.8%削減(22.44%から12.17%へ大幅改善)することに成功している。
開発者・エンジニア視点での考察
-
プロンプトによる出力フォーマットの動的制御:単一のモデルチェックポイントに対して、「タイムスタンプの付与」「特定の専門用語(医薬品名など)の厳密なスペル維持」「出力言語の指定」を自然言語プロンプトで指示できるため、アプリケーションごとにモデルを再学習させるパイプライン構築コストを大幅に削減できる。
-
LoRAとチェックポイント平均化によるドメイン適応:NeMo Speechを用いたファインチューニングにおいて、複数のデータミックスから得られたLoRAアダプターのチェックポイントを均一に平均化(Uniform Averaging)する手法を採用することで、汎用的な認識精度を損なわずにドメイン特有の語彙に対する頑健性を高める手法は、他ドメインへの水平展開に応用できる。
-
推論効率とローカル・クラウド両対応のデプロイ性:NVFP4量子化対応により、単一のRTX PRO 6000 BlackwellサーバーGPU上で100時間の音声を3分未満で処理可能なスループットを実現しており、vLLMやSGLang-Omniを用いたエッジ(RTX / Jetson)からデータセンター(Blackwell)までのシームレスなスケーリングパスが確保されている。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


