Funciones y soluciones de IA de la Video API de Vonage
Vonage Video ofrece API y SDK que permiten acceder tanto a las transmisiones de vídeo como a las de audio de una sesión de vídeo en directo y modificarlas mediante herramientas de inteligencia artificial de Vonage y de terceros, así como otros servicios.
Estas modificaciones se pueden realizar en tiempo real durante una sesión de vídeo de Vonage que ya esté en curso. Esto significa que los participantes en la sesión pueden ver los cambios a medida que se producen.
Mejore las Video Applications con IA
El Procesador multimedia de Vonage proporciona acceso a los flujos de audio y vídeo sin procesar a través de los SDK de cliente de vídeo para realizar operaciones de transformación en pistas de vídeo y audio individuales. Esto te permite modificar los flujos de audio o vídeo con Vonage o canalizarlos a través de servicios de terceros para realizar las modificaciones que desees.
La API de subtítulos en directo permite transcribir secuencias de audio para subtítulos en tiempo real dentro de la sesión de vídeo. El servicio se utiliza para proporcionar transcripciones instantáneas para casos de uso de reconocimiento automático del habla (ASR) y conversión de voz a texto (STT), como subtítulos en pantalla, transcripciones y traducciones.
Del mismo modo, el Conector de audio proporciona acceso al audio sin procesar de una sesión de vídeo de Vonage a través de una interfaz websocket, que luego puedes enviar a tus propios servicios gestionados de IA, como Servicio de voz Azure AI de Microsoft.
La transcripción posterior a la llamada en las sesiones de vídeo ofrece transcripciones y resúmenes basados en un archivo grabado. Esto resulta útil para tomar notas de reuniones, resumir reuniones y en casos de cumplimiento normativo.
Hemos recopilado una variedad de casos de uso junto con las características y el código de ejemplo que pueden ayudarle a empezar. También puede consultar la Recursos relacionados Sigue las instrucciones de la sección siguiente para empezar o echa un vistazo a esta tabla para ver cuál de nuestras funciones podría ser la más adecuada para ti.
| Quiero... | Nombre de la función | Referencias de código (documentación, ejemplos, procedimientos) |
|---|---|---|
| CONVERSIÓN DE VOZ A TEXTO | ||
| Grabar mi reunión con una transcripción | Transcripción posterior a la llamada | Documentación, Aplicación de muestra, Seminario web |
| Resumen de mi reunión | Transcripción tras la llamada con resumen | Documentación, Aplicación de muestra |
| Añadir subtítulos a mis reuniones | Subtítulos en directo | Documentación, Aplicación de muestra, Seminario web |
| Tomar notas en tiempo real | Subtítulos en directo | Documentación |
| Traducir los nombres de los usuarios a otro idioma (texto) | Conector de audio | Blog Artículo |
| Audio de usuario moderado | Señalización, silencio del editor | Blog Artículo |
| PROCESAMIENTO BÁSICO DE MEDIOS | ||
| Desenfocar el fondo de un vídeo (Web) | Desenfoque de fondo | Desenfoque/sustitución del fondo, Aplicación de muestra |
| Desenfocar el fondo del vídeo (nativo) | API para procesadores multimedia | Documentación |
| Sustituir fondo de vídeo (Web) | Sustitución del fondo | Desenfoque/sustitución del fondo |
| Sustituir el fondo del vídeo (Nativo) | API para procesadores multimedia | Documentación |
| Añadir marcas de agua a las transmisiones | API para procesadores multimedia | Marcas de agua y códigos QR |
| Añadir códigos QR | API para procesadores multimedia | Marcas de agua y códigos QR |
| Eliminar el ruido de fondo | Supresión del ruido | Supresión del ruido |
| Modular audio con efectos | API para procesadores multimedia | |
| VISIÓN POR ORDENADOR | ||
| Fíjate cuando alguien levante la mano | API para procesadores multimedia | Blog Artículo |
| Detectar cuándo alguien está mirando fuera de la pantalla | API para procesadores multimedia | Blog Artículo |
| Ver objetos en el encuadre | API para procesadores multimedia | Análisis de imágenes |
| BOTS Y AGENTIC AI | ||
| Obtenga en tiempo real el sentimiento de la persona que llama | Conector de audio | Análisis del sentimiento |
| Chatbot tradicional | Conector de audio | |
| Traducir automáticamente el discurso de los usuarios a otro idioma | Conector de audio | |
| Crear un flujo de trabajo de IA (STT → LLM/agente de IA → TTS) | Conector de audio | Aplicación de muestra |
| Voz a voz AI Procesamiento de agentes | Conector de audio | |
| Reproducir un anuncio de voz AI en una sesión de vídeo | Conector de audio |
Recursos relacionados
- Procesador multimedia: Descubre cómo capturar y modificar flujos de vídeo.
- Conector de audio: Aprende a acceder al audio sin procesar de las sesiones de vídeo en directo de Vonage y a modificarlo.
- Entradas de blog: Mira tutoriales de ejemplo sobre cómo se pueden mejorar las sesiones de video en vivo de Vonage usando IA.