OpenAI、6ヶ月で構築した応答型音声AIリアルタイムシステム：WebRTCとオーディオネイティブアーキテクチャによる会話の革新
OpenAIは、わずか6ヶ月で応答性の高い音声AIを実現するためのリアルタイムシステムを構築しました。このシステムは、WebRTCの根本的な再設計と、オーディオを直接処理する「オーディオネイティブ」なアプローチを組み合わせることで、従来の音声AIにありがちな遅延や不自然さを解消し、人間のような流れるような会話を実現しています。特に、ChatGPTの音声モードや開発者向けのRealtime APIにおいて、9億人を超える週刊アクティブユーザーに安定した低遅延体験を提供するために、インフラストラクチャ全体にわたる抜本的な変更が加えられました。
「オーディオネイティブ」パラダイムと低遅延会話の実現
従来の音声AIシステムは、一般的に音声認識（STT）、言語モデル（LLM）、音声合成（TTS）という3つの独立したコンポーネントを直列に接続していました。このパイプラインは、各ステップでの処理遅延と、テキスト変換の過程で失われる発話のニュアンス（イントネーション、感情、非言語的な合図）が課題でした。OpenAIが採用した新しいアプローチは、この伝統的な手法から脱却し、オーディオを直接入力として受け取り、オーディオを直接出力する「オーディオネイティブ」な処理を実現しています。
これにより、STTとTTS間のテキスト中間表現の必要がなくなり、複数API呼び出しによるレイテンシが排除されます。モデルは「音声で思考」し、テキストに変換することなく、話者の話し方、抑揚、感情的なニュアンスを直接解釈し、それに応じた音声を生成することができます。この「音声-音声」モデルは、応答速度を劇的に向上させるとともに、より自然で人間らしい会話フローを可能にします。システムは、ユーザーがまだ話している間に聞き取りと応答生成を同時に行うフルデュープレックス（全二重）通信をサポートしており、これにより自然な割り込み（barge-in）や、プッシュツートーク型ではない連続的な会話体験が実現されています。
WebRTCスタック再構築によるグローバルスケール対応
OpenAIは、リアルタイム性の高い音声通信を実現するために、WebRTC（Web Real-Time Communication）を基盤技術として採用しました。しかし、9億人を超える週刊アクティブユーザーへのグローバル展開というOpenAIの規模においては、従来のWebRTCのデプロイメントモデルが持つ制約に直面しました。特に、「セッションごとに1つのポートを使用するメディア終端」という一般的なWebRTCプラクティスは、OpenAIのインフラストラクチャとの互換性が低く、大規模な同時接続を処理する上でボトルネックとなりました。
この課題を解決するため、OpenAIはWebRTCスタックを根本的に再構築し、「split relay + transceiver」アーキテクチャを導入しました。このアーキテクチャでは、WebRTCセッションの終端（relaying）と実際の推論バックエンドへの接続（transceiving）を分離しています。これにより、クライアント側のWebRTC動作は標準を維持しつつ、OpenAIのインフラ内部でのパケットルーティング方法を変更できるようになりました。また、安定したICE（Interactive Connectivity Establishment）およびDTLS（Datagram Transport Layer Security）セッションの所有を維持し、グローバルルーティングにおける低いファーストホップレイテンシを実現するために、地理的に分散されたリレーポイントである「Global Relay」を導入しました。この抜本的な変更により、音声セッションの起動に必要なネットワークラウンドトリップ数は、従来の6回からわずか1回にまで削減され、接続開始からすぐにユーザーが話し始められるようになりました。
連続的な音声ストリーム処理と非同期推論
人間同士の会話が自然に感じられるためには、ネットワーク遅延が会話の流れを妨げないことが不可欠です. OpenAIのシステムは、オーディオがユーザーのデバイスからモデルへ連続的なストリームとして到着することを重要な特性としています。これにより、モデルはユーザーがまだ話している途中であっても、リアルタイムで音声の書き起こし、推論、そして応答の生成を開始できます。このアプローチは、「プッシュツートーク」のような断続的な体験ではなく、流れるような会話体験を生み出すための核となります。
さらに、システムは**「専用の高速パス（fast path）」を導入しており、音声データはこのパスを介して迅速に処理されます。一方で、より複雑な推論や、外部ツールを利用するような深い処理は非同期的にバックグラウンドで実行**されます。この分離により、複雑な処理が会話フローを中断することなく進行し、ユーザーは常に滑らかな対話体験を得ることができます。この設計は、音声AIエージェントがユーザーと対話しながら、同時に裏側でタスクを進行させるような、インタラクティブなワークフローにおいて特に重要です。
開発者・エンジニア視点での考察
-
WebRTCの限界とスケーリング戦略: OpenAIが、9億人規模のユーザーに対応するためにWebRTCの「one-port-per-session」という一般的な制約を乗り越え、「split relay + transceiver」アーキテクチャを採用したことは、大規模リアルタイム通信システムを構築する際のWebRTCの応用可能性と限界を示しています。既存のWebRTC利用者や、同様の巨大スケールを目指す開発チームにとって、このアーキテクチャは具体的な設計指針となり得ます。特に、エッジでのメディア終端をどう設計し、Kubernetesのような動的な環境で状態管理やルーティングをどう最適化するかは、多くのリアルタイムシステム開発者が直面する課題への重要なヒントを提供します。
-
オーディオネイティブモデルの設計思想と開発パラダイムの変化: 従来のSTT/TTSを介したテキストベースのパイプラインから、オーディオを直接処理する「オーディオネイティブ」モデルへの移行は、開発者が音声AIアプリケーションを設計する上での根本的なパラダイムシフトを意味します。これにより、発話のイントネーションや感情、非言語的キューといった「声」が持つ豊かな情報を、モデルが直接理解し、応答に反映させることが可能になります。開発者は、単なるテキスト変換の精度だけでなく、これらの音声の機微をどうアプリケーションのインタラクションデザインに組み込むかを考慮する必要が出てくるでしょう。
-
高速パスと非同期処理によるUX向上: 音声ストリームの「高速パス」と、複雑な推論やツール利用を非同期でバックグラウンド実行するアーキテクチャは、応答性と自然な会話フローを両立させるための鍵です。これは、ユーザー体験を損なわずに複雑な処理を行うための一般的な設計原則として、他のリアルタイムシステム開発にも応用できます。例えば、UIの即時応答性を確保しつつ、データ処理やバックエンド呼び出しを非同期で進めるようなシステム設計において、このアプローチはUXとシステム効率の両面で有効な手段となります。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
