Détails techniques

À la recherche d'une IA ?

Créez des expériences vidéo + IA avec Vidéo + Aperçu de l'IA, Sous-titres en directet Transcription après appel.

L'In-App Video API de Vonage vous permet d'intégrer des sessions en temps réel entièrement gérées dans des applications web et mobiles. Les SDK clients capturent et distribuent les médias tout en gérant les événements de signalisation et de mise en page, et les SDK serveurs ou les points d'extrémité REST créent des sessions, des jetons et gèrent les archives, les diffusions, l'interconnexion SIP et les rappels.

L'architecture en un coup d'œil

Chaque application In-App Video dispose d'une fonction client, un serveur d'applicationet s'exécute à l'intérieur d'un session dans le nuage de Vonage.

Client

Uses the client SDK (Web/iOS/Android/Desktop)
Obtains sessionId + token from your server
Connects to the session, publishes local A/V
Subscribes to remote streams, handles events

App Server

Uses a Server SDK / REST API
Creates sessions; generates tokens and roles
Implements business logic & webhooks/callbacks
Controls recording, broadcast, moderation, storage

Session

“Room” hosted in Vonage Video Cloud
Signaling, events, media routing
Publish/subscribe of streams

Authentification et déroulement de la session

Créez votre Account et votre application : générer votre vidéo Vonage ID de l'application et Clé privée.
Créer une session : générer un sessionId avec un SDK serveur ou REST.
Délivrer un jeton : créer un jeton avec le rôle et le TTL appropriés.
Participez à une session : recherche frontale {apiKey, sessionId, token} à partir de votre point d'extrémité et se connecte au Client SDK.

Contrôles côté serveur

Sessions et jetons : Créer des sessions ; émettre des jetons avec des rôles et une date d'expiration.
Archivage (enregistrement) : Démarrer/arrêter les archives ; stocker/récupérer les enregistrements.
Diffusion (HLS/RTMP) : Diffuser une session vers des CDN ou des points d'extrémité RTMP.
Interconnexion SIP : Pont PSTN/SIP dans une session.
Callbacks/webhooks : Recevoir l'état des archives/diffusions et les événements de connexion.
Sous-titres en direct : Permettre la transcription en temps réel et la superposition de sous-titres.
Connecteur audio : Diffuser des données audio brutes vers des services d'intelligence artificielle ou renvoyer des données audio synthétisées.
Compositeur d'expérience : Rendre des mises en page de marque pour l'enregistrement, la diffusion ou la visualisation à grande échelle.
Applications API : Gérer les applications Vonage dont les fonctions vidéo sont activées via videoCapabilities.

Aperçu des fonctionnalités

Collaboration en temps réel

Sessions et publication/abonnement pour l'audio/vidéo multipartite avec routage adaptatif.
Partage d'écran pour capturer des fenêtres, des onglets de navigateur ou des écrans entiers.
Signalisation et messagerie pour le chat, les réactions et les contrôles en cours de session.

Enregistrement et production

Archivage pour capturer, stocker et récupérer des enregistrements de sessions complètes.
Compositeur d'expérience pour transformer une présentation web de marque en un flux composite pour les archives, les diffusions ou la visualisation à grande échelle.
Connecteur audio pour transmettre de l'audio brut aux pipelines d'IA ou ramener de l'audio synthétisé dans la session.

Intégrations AI

Sous-titres en direct pour la transcription en temps réel et la superposition des sous-titres.
Connecteur audio + flux de travail de l'IA pour améliorer la conversion de la parole en texte, la traduction ou l'expérience des agents.

Distribution

Radiodiffusion pour diffuser HLS/RTMP vers les CDN et les destinations sociales.
Interconnexion SIP et Connecteur audio pour faire le lien entre la téléphonie, les robots ou les solutions de saisie de la conformité.

Outils

Débogage

Inspecteur pour retracer les participants, les flux et les événements de qualité.
Inspecteur des archives pour les délais d'archivage, les durées prévues et les états d'erreur.

Outils de diagnostic

Test préalable à l'appel pour vérifier que la caméra, le microphone, la bande passante et le pare-feu sont prêts avant une session.

Perspectives et analyses

Insights GraphiQL Explorer pour interroger les données d'utilisation via les API GraphQL Insights et Advanced Insights.
Guide de l'API Insights pour intégrer les requêtes GraphQL dans vos outils.

Explorer les capacités

Aire de jeux vidéo pour créer des prototypes de sessions, des légendes, des compositeurs d'expérience et bien plus encore, sans écrire de code.

Guides de démarrage et échantillons

Explorez les dépôts d'exemples de vidéos sur GitHub - Web, iOSet Android - pour des projets prêts à l'emploi couvrant les sous-titres, le SIP, les mises en page multipartites, etc.
Fourchette In-App Video (Web, Android, iOS) afin d'être prêt pour la production en respectant les flux de travail de l'UX, de l'IC et des tests.

Remarque : TokBox est désormais Vonage Video.