Détails techniques
À la recherche d'une IA ?
Créez des expériences vidéo + IA avec Vidéo + Aperçu de l'IA, Sous-titres en directet Transcription après appel.
L'In-App Video API de Vonage vous permet d'intégrer des sessions en temps réel entièrement gérées dans des applications web et mobiles. Les SDK clients capturent et distribuent les médias tout en gérant les événements de signalisation et de mise en page, et les SDK serveurs ou les points d'extrémité REST créent des sessions, des jetons et gèrent les archives, les diffusions, l'interconnexion SIP et les rappels.
L'architecture en un coup d'œil
Chaque application In-App Video dispose d'une fonction client, un serveur d'applicationet s'exécute à l'intérieur d'un session dans le nuage de Vonage.
Client
- Uses the client SDK (Web/iOS/Android/Desktop)
- Obtains sessionId + token from your server
- Connects to the session, publishes local A/V
- Subscribes to remote streams, handles events
App Server
- Uses a Server SDK / REST API
- Creates sessions; generates tokens and roles
- Implements business logic & webhooks/callbacks
- Controls recording, broadcast, moderation, storage
Session
- “Room” hosted in Vonage Video Cloud
- Signaling, events, media routing
- Publish/subscribe of streams
Authentification et déroulement de la session
- Créez votre Account et votre application : générer votre vidéo Vonage ID de l'application et Clé privée.
- Créer une session : générer un
sessionIdavec un SDK serveur ou REST. - Délivrer un jeton : créer un jeton avec le rôle et le TTL appropriés.
- Participez à une session : recherche frontale
{apiKey, sessionId, token}à partir de votre point d'extrémité et se connecte au Client SDK.
Contrôles côté serveur
- Sessions et jetons : Créer des sessions ; émettre des jetons avec des rôles et une date d'expiration.
- Archivage (enregistrement) : Démarrer/arrêter les archives ; stocker/récupérer les enregistrements.
- Diffusion (HLS/RTMP) : Diffuser une session vers des CDN ou des points d'extrémité RTMP.
- Interconnexion SIP : Pont PSTN/SIP dans une session.
- Callbacks/webhooks : Recevoir l'état des archives/diffusions et les événements de connexion.
- Sous-titres en direct : Permettre la transcription en temps réel et la superposition de sous-titres.
- Connecteur audio : Diffuser des données audio brutes vers des services d'intelligence artificielle ou renvoyer des données audio synthétisées.
- Compositeur d'expérience : Rendre des mises en page de marque pour l'enregistrement, la diffusion ou la visualisation à grande échelle.
- Applications API : Gérer les applications Vonage dont les fonctions vidéo sont activées via
videoCapabilities.
Aperçu des fonctionnalités
Collaboration en temps réel
- Sessions et publication/abonnement pour l'audio/vidéo multipartite avec routage adaptatif.
- Partage d'écran pour capturer des fenêtres, des onglets de navigateur ou des écrans entiers.
- Signalisation et messagerie pour le chat, les réactions et les contrôles en cours de session.
Enregistrement et production
- Archivage pour capturer, stocker et récupérer des enregistrements de sessions complètes.
- Compositeur d'expérience pour transformer une présentation web de marque en un flux composite pour les archives, les diffusions ou la visualisation à grande échelle.
- Connecteur audio pour transmettre de l'audio brut aux pipelines d'IA ou ramener de l'audio synthétisé dans la session.
Intégrations AI
- Sous-titres en direct pour la transcription en temps réel et la superposition des sous-titres.
- Connecteur audio + flux de travail de l'IA pour améliorer la conversion de la parole en texte, la traduction ou l'expérience des agents.
Distribution
- Radiodiffusion pour diffuser HLS/RTMP vers les CDN et les destinations sociales.
- Interconnexion SIP et Connecteur audio pour faire le lien entre la téléphonie, les robots ou les solutions de saisie de la conformité.
Outils
Débogage
- Inspecteur pour retracer les participants, les flux et les événements de qualité.
- Inspecteur des archives pour les délais d'archivage, les durées prévues et les états d'erreur.
Outils de diagnostic
- Test préalable à l'appel pour vérifier que la caméra, le microphone, la bande passante et le pare-feu sont prêts avant une session.
Perspectives et analyses
- Insights GraphiQL Explorer pour interroger les données d'utilisation via les API GraphQL Insights et Advanced Insights.
- Guide de l'API Insights pour intégrer les requêtes GraphQL dans vos outils.
Explorer les capacités
- Aire de jeux vidéo pour créer des prototypes de sessions, des légendes, des compositeurs d'expérience et bien plus encore, sans écrire de code.
Guides de démarrage et échantillons
- Explorez les dépôts d'exemples de vidéos sur GitHub - Web, iOSet Android - pour des projets prêts à l'emploi couvrant les sous-titres, le SIP, les mises en page multipartites, etc.
- Fourchette In-App Video (Web, Android, iOS) afin d'être prêt pour la production en respectant les flux de travail de l'UX, de l'IC et des tests.
Remarque : TokBox est désormais Vonage Video.