Intégrer l'IA aux applications de la Video API Vonage

L'Video API Vonage offre plusieurs moyens d'intégrer l'IA et le traitement multimédia à une application vidéo. Vous pouvez utiliser les fonctionnalités de Vonage pour le sous-titrage et la transcription après appel, transformer les fichiers multimédias dans une application cliente ou connecter les fichiers multimédias d'une session en direct à un service d'IA que vous gérez.

Cette page vous permet de choisir une approche et de trouver la documentation et les exemples correspondants.

Diagram showing the Video API options for client-side media processing, Vonage AI features, and server-side AI integrations

Choisissez une approche

Si vous souhaitez... Utilisation Comment cela fonctionne-t-il ?
Afficher les légendes pendant une session Sous-titres en direct Vonage transcrit certains flux audio issus d'une session acheminée et envoie des événements de sous-titrage aux clients abonnés.
Rédiger un compte rendu ou un résumé après une séance Transcription après appel Vonage génère une transcription, accompagnée d'un résumé facultatif, à partir d'un fichier d'archive contenant un seul flux.
Transformer des fichiers audio ou vidéo dans une application cliente Processeur de médias Un Client SDK vidéo applique une transformation à une piste multimédia spécifique.
Envoyer un flux audio en direct vers un serveur et récupérer le flux audio traité Connecteur audio Un WebSocket bidirectionnel achemine le flux audio brut entre la session vidéo et votre serveur.
Traiter ou générer du contenu audio et vidéo en direct sur un serveur Connecteur vidéo Une application côté serveur rejoint la session vidéo en tant que participant WebRTC et peut publier et s'abonner à des flux multimédias.

Connecter une session vidéo aux services d'IA

Connecteurs IA Vonage fournissent des bibliothèques et des intégrations permettant de connecter des flux audio et vidéo en direct à des services d'IA. Elles prennent en charge deux approches de développement :

  • Utiliser le SDK de connecteurs lorsque vous souhaitez développer l'application qui échange des fichiers multimédias avec votre service d'IA.
  • Utiliser le Intégrations Pipecat lorsque votre application utilise un pipeline Pipecat pour coordonner des services de reconnaissance vocale, de modèle linguistique, de synthèse vocale ou multimodaux.

Choisissez le mode de transport en fonction du support requis par votre application :

Les médias SDK Connector Intégration de Pipecat
Audio SDK du serveur de connecteurs audio utilise un WebSocket et fonctionne avec la Video API et la Voice API. Sérialiseur audio Vonage pour Pipecat connecte un pipeline audio Pipecat via Audio Connector ou un WebSocket vocal.
Audio et vidéo SDK du serveur de connecteurs vidéo utilise WebRTC et rejoint une session de la Video API en tant que participant côté serveur. Transport vidéo de Vonage pour Pipecat relie un pipeline audio et vidéo Pipecat à une session de la Video API.

Voir le Présentation des connecteurs IA pour une comparaison détaillée des protocoles de transport, des API prises en charge, des formats multimédias et des tarifs.

Exemples et étapes suivantes

Objectif Documentation Exemple
Ajouter des sous-titres en temps réel Sous-titres en direct Exemple de légendes de base
Générer une transcription et un résumé de l'entretien Transcription après appel Exemple de transcription après un appel
Appliquer une transformation multimédia côté client Processeur de médias Exemple de flou d'arrière-plan
Connecter un flux audio à un service de traitement personnalisé Configurer le SDK Audio Connector Server Exemples du SDK Audio Connector Server
Ajouter un assistant vocal Pipecat à une session vidéo Connecter Pipecat à une session Vonage Exemple d'Audio Bot Vonage
Mettre en place un pipeline d'IA pour l'audio et la vidéo Transport vidéo de Vonage pour Pipecat Intégration de Vonage Pipecat

Ressources connexes