Vonage Video API Audio Connectorで音声を受信できるようになりました。

はじめに

の Audio Connector 機能については、すでにいくつかのブログ記事が書かれています。 Vonage Video API("Audio ConnectorでVonage Videoアプリケーションを強化する", "Video + AI: Audio Connectorによるライブ翻訳「およびVideo + AI: Videoアプリケーションのための設定可能なオーディオ処理").それぞれ、WebSocketサーバーに接続し、ビデオ通話の音声を処理して、翻訳、テープ起こし、会議メモの作成などを行う。

を設定する。 双方向フラグを に設定します。に設定することで、ビデオ通話にオーディオを送り返すことができます。これにより、新しい可能性が広がります。前述の翻訳ユースケースを参照すると、翻訳されたテキストが返されますが、それを音声に翻訳することができます！

使用例

Large Language Modelsやその他のAIツールを使えば、ビデオ通話から送信された音声に対する応答として、返された音声を生成することができる。例えば、友人グループが海外旅行を計画しているとしよう。彼らは全員、いつでもAIトラベル・アドバイザーとビデオ通話をすることができ、そこで必要な時間、あらゆる質問をしたり、アイデアを話し合ったりすることができる。AIトラベル・アドバイザーは、多数のソースから引き出されたリアルタイムのデータに基づいて回答することができる。音声による会話は、より良いユーザー体験となる。旅行の詳細がすべて決まったら、AIトラベルアドバイザーはその情報を旅行代理店に伝え、予約を完了させることができる。

試してみる

試してみたい？ここに Webサンプルアプリケーションこれは基本的なビデオ通話で、ビデオ通話から音声をエコーバックするWebSocketサーバーが含まれています。どのように動作するか感触をつかむには良いスターター・プロジェクトです。

結論

Audio Connectorの新しい双方向機能により、音声をリアルタイムで送受信できるようになり、翻訳、テープ起こし、AIを活用した会話への扉が開かれます。ご質問がありましたら、お気軽に コミュニティ・スラック.