SDK du serveur de connecteurs audio

Vue d'ensemble

Ce guide explique comment installer et configurer le SDK Vonage Audio Connector Server pour créer un point d'extrémité WebSocket côté serveur qui envoie et reçoit de l'audio PCM en temps réel d'une session vidéo session vidéo Vonage.

Utilisez ce SDK pour connecter des sessions audio en direct à des services d'IA tiers, par exemple pour créer un assistant d'IA conversationnel, exécuter une transcription en direct ou effectuer une analyse audio en temps réel. un assistant conversationnel d'IA, exécuter une transcription en direct ou effectuer une analyse audio en temps réel.

Avant de commencer

Avant d'installer le SDK, assurez-vous que vous avez :

  • Python installé sur votre serveur
  • Un Account Vonage avec Accès à la Video API
  • Un identifiant de session Vonage Video et un jeton de session valide
  • (Facultatif) Un certificat SSL pour les déploiements WebSocket de production

Installer le SDK

Installez le paquetage à partir de PyPI :

pip install vonage-audio-connector-server

Configuration et démarrage du serveur

  1. Créer un AudioConnectorServerConfig avec votre hôte, votre port, votre contexte SSL et vos callbacks de cycle de vie du cycle de vie :

  2. Démarrer le serveur :

Gestion des événements de connexion

À l'intérieur de votre on_connect callback, enregistrer les messages, la déconnexion et les gestionnaires d'erreur pour chaque connexion client. connexion client :

Renvoi de l'audio vers la session

Utilisez l'objet client dans vos gestionnaires pour renvoyer des données à la session vidéo.

Pour envoyer un message de contrôle JSON :

Pour renvoyer l'audio PCM dans la session :

Le SDK gère la synchronisation et la mise en mémoire tampon des trames en fonction des éléments suivants bytes_per_sample et frames_ms. Ensemble flush_buffer=True afin d'écarter les données audio mises en mémoire tampon avant d'ajouter de nouvelles données.

Autres méthodes disponibles pour les clients :

Voir aussi