オーディオコネクタサーバーSDK

概要

このガイドでは、Vonage Audio Connector Server SDK をインストールして構成する方法を説明します。 からリアルタイムの PCM オーディオを送受信するサーバ側の WebSocket エンドポイントを構築する方法を説明します。 Vonage Video セッションからリアルタイム PCM オーディオを送受信するサーバ側 WebSocket エンドポイントを構築する方法を説明します。

このSDKを使用して、ライブセッションの音声をサードパーティのAIサービスに接続します。 例えば、会話型AIアシスタントを構築したり、ライブ文字起こしを実行したり、リアルタイムの音声分析を実行したりできます。

始める前に

SDKをインストールする前に、以下を確認してください：

  • サーバーにインストールされているPython
  • のVonageアカウント。 Video APIアクセス
  • Vonage VideoセッションIDと有効なセッション・トークン
  • (オプション) 本番用WebSocketデプロイメント用のSSL証明書

SDKのインストール

PyPIからパッケージをインストールする：

pip install vonage-audio-connector-server

サーバーの設定と起動

  1. を作成する。 AudioConnectorServerConfig をホスト、ポート、SSL コンテキスト、ライフサイクル コールバックを使用します：

  2. サーバーを起動します：

接続イベントの処理

内部 on_connect 各クライアント接続のコールバック、登録メッセージ、切断、エラーハンドラ クライアント接続の

オーディオをセッションに戻す

ハンドラ内でクライアント オブジェクトを使用して、Video セッションにデータを返します。

JSONコントロール・メッセージを送信する：

PCMオーディオをセッションに送り返す：

SDKは、フレーム・タイミングとバッファリングを次のように管理します。 bytes_per_sample そして frames_ms. セット flush_buffer=True 新しいデータを追加する前に、バッファリングされたオーディオを破棄する。

その他の利用可能なクライアント・メソッド：

こちらも参照