Incorporar la IA a las aplicaciones de la Video API de Vonage

La Video API de Vonage ofrece varias formas de incorporar inteligencia artificial y procesamiento multimedia a una aplicación de vídeo. Puedes utilizar las funciones de Vonage para los subtítulos y la transcripción tras la llamada, transformar el contenido multimedia en una aplicación de cliente o conectar el contenido multimedia de una sesión en directo a un servicio de inteligencia artificial que tú mismo gestiones.

Utiliza esta página para elegir un método y encontrar la documentación y los ejemplos correspondientes.

Diagram showing the Video API options for client-side media processing, Vonage AI features, and server-side AI integrations

Elige un enfoque

Si quieres... Uso Cómo funciona
Mostrar subtítulos durante una sesión Subtítulos en directo Vonage transcribe las secuencias de audio seleccionadas de una sesión enrutada y envía eventos de subtítulos a los clientes suscritos.
Elabora una transcripción o un resumen tras una sesión Transcripción posterior a la llamada Vonage genera una transcripción, con un resumen opcional, a partir de un archivo de una sola secuencia.
Transformar audio o vídeo en una aplicación de cliente Procesador multimedia Un Client SDK de vídeo aplica una transformación a una pista multimedia concreta.
Enviar audio en directo a un servidor y recibir el audio procesado Conector de audio Un WebSocket bidireccional transmite audio sin procesar entre la sesión de vídeo y tu servidor.
Procesar o generar audio y vídeo en directo en un servidor Conector de vídeo Una aplicación del lado del servidor se une a la sesión de vídeo como participante de WebRTC y puede publicar y suscribirse a contenidos multimedia.

Conectar una sesión de vídeo a los servicios de IA

Conectores de IA de Vonage ofrecen bibliotecas e integraciones para conectar contenidos multimedia de voz y vídeo en directo con servicios de inteligencia artificial. Admiten dos enfoques de desarrollo:

  • Utiliza el SDK de conectores cuando quieras desarrollar la aplicación que intercambia archivos multimedia con tu servicio de IA.
  • Utiliza el Integraciones de Pipecat cuando tu aplicación utilice un pipeline de Pipecat para coordinar servicios de conversión de voz a texto, de modelos de lenguaje, de conversión de texto a voz o multimodales.

Elige el medio de transporte en función de los soportes que necesite tu aplicación:

Medios de comunicación SDK de Conector Integración con Pipecat
Audio SDK del servidor de conectores de audio Utiliza un WebSocket y funciona con la Video API y la Voice API. Serializador de audio Vonage para Pipecat Conecta un canal de audio de Pipecat a través de Audio Connector o de un WebSocket de voz.
Audio y vídeo SDK del servidor Video Connector utiliza WebRTC y se une a una sesión de la Video API como participante del lado del servidor. Vonage Video Transport para Pipecat Conecta un canal de audio y vídeo de Pipecat a una sesión de la Video API.

Véase el Descripción general de los conectores de IA para ver una comparación detallada de los protocolos de transmisión, las API compatibles, los formatos multimedia y los precios.

Ejemplos y próximos pasos

Objetivo Documentación Ejemplo
Añadir subtítulos en tiempo real Subtítulos en directo Ejemplo de subtítulos básicos
Generar una transcripción y un resumen tras la llamada Transcripción posterior a la llamada Ejemplo de transcripción tras una llamada
Aplicar una transformación de medios del lado del cliente Procesador multimedia Ejemplo de desenfoque de fondo
Conectar el audio a un servicio de procesamiento personalizado Configurar el SDK del servidor del conector de audio Ejemplos del SDK de Audio Connector Server
Añadir un agente de voz de Pipecat a una sesión de vídeo Conecta Pipecat a una sesión de Vonage Ejemplo de Vonage Audio Bot
Crear un flujo de trabajo de IA para audio y vídeo Vonage Video Transport para Pipecat Integración de Vonage con Pipecat

Recursos relacionados