Vonage Video API Applications に AI を追加する

Vonage Video API では、ビデオアプリケーションに AI やメディア処理機能を追加するためのいくつかの方法が用意されています。Vonage の字幕機能や通話後の文字起こし機能を利用したり、クライアントアプリケーション内でメディアを変換したり、ライブセッションのメディアを自社で管理する AI サービスに連携させたりすることができます。

このページを利用して、適切な手法を選択し、それに対応するドキュメントやサンプルを見つけてください。

Diagram showing the Video API options for client-side media processing, Vonage AI features, and server-side AI integrations

アプローチを選択する

もし～したいなら… 使用方法 仕組み
セッション中にキャプションを表示する ライブ・キャプション Vonageは、ルーティングされたセッションから選択されたオーディオストリームを文字起こしし、登録済みのクライアントにキャプションイベントを送信します。
セッション終了後に議事録や要約を作成する ポストコール・テープ起こし Vonageは、個別のストリームアーカイブから、トランスクリプトを作成し、必要に応じて要約も追加します。
クライアントアプリケーションでオーディオまたはビデオを変換する メディア・プロセッサー ビデオクライアントSDKは、個々のメディアトラックに変換を適用します。
ライブ音声をサーバーに送信し、処理済みの音声を受け取る オーディオ・コネクター 双方向のWebSocketは、ビデオセッションとサーバーの間で生のオーディオデータをやり取りします。
サーバー上でライブのオーディオおよびビデオを処理または生成する ビデオコネクター サーバーサイドアプリケーションは、WebRTCの参加者としてビデオセッションに参加し、メディアの配信や受信を行うことができます。

ビデオセッションをAIサービスに接続する

Vonage AI コネクタ ライブ音声・映像メディアをAIサービスに接続するためのライブラリや連携機能を提供します。これらは、以下の2つの開発アプローチに対応しています：

  • を使用する。 コネクタ用SDK AIサービスとメディアをやり取りするアプリケーションを作成したい場合。
  • を使用する。 Pipecatの連携機能 Applicationsで、音声認識、言語モデル、テキスト読み上げ、またはマルチモーダルサービスを連携させるためにPipecatパイプラインを使用する場合。

Applicationsに必要なメディアに応じて、転送方法を選択してください：

メディア コネクタ SDK Pipecatとの連携
オーディオ オーディオコネクタサーバーSDK WebSocketを使用し、Video APIおよびVoice APIと連携して動作します。 Pipecat用Vonageオーディオシリアライザー Audio Connector または Voice WebSocket を通じて、Pipecat のオーディオパイプラインを接続します。
音声と映像 ビデオコネクターサーバーSDK WebRTC を使用し、サーバー側の参加者として Video API セッションに参加します。 Vonageビデオトランスポート for Pipecat PipecatのオーディオおよびビデオパイプラインをVideo APIセッションに接続します。

参照 AIコネクタの概要 各サービスの転送機能、対応API、メディア形式、および料金の詳細な比較については、こちらをご覧ください。

事例と今後の手順

ゴール ドキュメンテーション 例
リアルタイム字幕を追加する ライブ・キャプション 基本的なキャプションのサンプル
通話後の文字起こしと要約を作成する ポストコール・テープ起こし 通話後の文字起こしサンプル
クライアントサイドでのメディア変換を適用する メディア・プロセッサー 背景ぼかしのサンプル
オーディオをカスタム処理サービスに接続する Audio Connector Server SDK のセットアップ Audio Connector Server SDK のサンプル
ビデオセッションにPipecat音声エージェントを追加する PipecatをVonageセッションに接続する Vonage Audio Bot のサンプル
音声・映像用AIパイプラインの構築 Vonageビデオトランスポート for Pipecat VonageとPipecatの連携

関連リソース