Serializador de audio Vonage para Pipecat

Visión general

Pipecat es un marco de trabajo de código abierto para crear aplicaciones de IA y multimodales. Orquesta servicios de IA -como voz a texto, modelos de lenguaje y texto a voz, junto con transportes de red y procesamiento de audio/vídeo para producir conversaciones de baja latencia y sonido natural.

El Serializador de audio Vonage para Pipecat convierte las tramas de audio entre el formato interno de Pipecat y el formato de audio que requiere la conexión WebSocket de Vonage. Un transporte WebSocket de Pipecat gestiona la conexión con el servidor y utiliza el serializador para codificar las tramas salientes y descodificar los datos entrantes.

Cómo funciona

Vonage envía el audio a servicios externos a través de conexiones WebSocket gestionadas. El Vonage Audio Serializer actúa como adaptador de protocolo entre ese flujo WebSocket y el canal de audio interno de Pipecat:

  1. Tu aplicación Pipecat inicia un servidor de transporte WebSocket configurado con el serializador de Vonage.
  2. Vonage establece una conexión WebSocket con tu servidor desde una sesión de vídeo a través de Conector de audio, o desde una llamada de voz a través de un NCCO connect acción.
  3. El protocolo de transporte WebSocket envía los datos entrantes al serializador, que los convierte en las tramas PCM que espera Pipecat.
  4. Su canalización procesa el audio a través de sus servicios de IA configurados y devuelve una respuesta.
  5. El serializador convierte las tramas salientes al formato de audio que espera la conexión WebSocket de Vonage, y el protocolo de transporte WebSocket envía los datos a Vonage para su reproducción.

Relación con otras integraciones de Vonage Pipecat

Vonage ofrece dos integraciones de Pipecat separadas que abordan diferentes casos de uso:

Integración Transporte Caso práctico
Serializador de audio de Vonage WebSocket de audio (Conector de audio / NCCO de voz) Canalizaciones de IA sólo audio para sesiones de voz o vídeo
Vonage Video Transport para Pipecat WebRTC (Conector de vídeo) Canalizaciones que también procesan o generan vídeo, como los avatares de vídeo

Utilice el serializador de audio cuando su canalización sólo necesite procesar y devolver audio. Utilice el Vonage Video Transport for Pipecat cuando su canalización también necesite trabajar con fotogramas de vídeo.

Cuándo usar el serializador de audio de Vonage

  • Asistentes de voz con IA en tiempo real: Implementa un bot de voz respaldado por LLM dentro de una sesión de Vonage Video o en una llamada telefónica entrante.
  • Transcripción y traducción en directo: Transmitir el audio de la sesión a través de un servicio de transcripción y enviar el texto traducido a los participantes.
  • Grabación y análisis de llamadas: Capture y analice el contenido de las conversaciones de voz o vídeo en tiempo real.
  • Procesamiento de efectos de audio: Aplica filtrado, reducción de ruido u otras transformaciones al audio antes de que llegue a los participantes.
  • Moderación automática: Detectar los discursos inadecuados o que no se ajusten a las normas y actuar en consecuencia en cuanto se produzcan. se produzca.

Véase también