Serializador de audio Vonage para Pipecat

Visión general

Esta guía explica cómo conectar un Pipecat integrar el flujo de trabajo de IA de voz en una sesión de Vonage Video o una llamada de voz mediante el serializador de audio de Vonage para Pipecat. El transporte WebSocket de Pipecat gestiona la conexión, mientras que el serializador convierte las tramas de audio entre el formato interno de Pipecat y el formato de audio que requiere la conexión WebSocket de Vonage.

Vonage ofrece un ejemplo de agente de chat de voz basado en OpenAI en el Repositorio «pipecat-examples» para demostrar los dos escenarios cubiertos en esta guía.

Para casos de uso que también implican el tratamiento de vídeo o avatares de vídeo, véase Vonage Video Transport para Pipecat.

Antes de empezar

Antes de empezar, asegúrate de que tienes:

  • Python instalado en tu servidor

  • Una Account de Vonage con Video API o Voice API acceso

  • El repositorio de ejemplos de Pipecat clonado localmente:

    git clone https://github.com/pipecat-ai/pipecat-examples.git

  • Sólo para sesiones de voz: un número de teléfono que pueda recibir llamadas entrantes.

Conectar Pipecat a una sesión de vídeo de Vonage

  1. Crea una sesión de Vonage Video utilizando cualquiera de las siguientes opciones:

  2. Configure la aplicación de ejemplo actualizando las variables de entorno en el archivo vonage-audio-bot carpeta con tus credenciales de Vonage y los datos de la sesión. Consulta el LÉAME.md para las variables obligatorias.

  3. Inicia el servidor WebSocket siguiendo las instrucciones de puesta en marcha que figuran en el LÉAME.md.

  4. Abra una conexión de conector de audio desde su sesión de vídeo al servidor WebSocket en ejecución, siguiendo el Guía del conector de audio y los pasos que hay que seguir en el LÉAME.md.

Conectar Pipecat a una sesión de voz de Vonage

  1. Configure la aplicación de ejemplo actualizando las variables de entorno en el archivo vonage-audio-bot con tus credenciales de Vonage. Consulta la LÉAME.md para las variables obligatorias.

  2. Inicia el servidor WebSocket siguiendo las instrucciones de puesta en marcha que figuran en el LÉAME.md.

  3. En Voice Playground, en el panel de control de Vonage, crea una NCCO que conecte una llamada entrante a tu servidor WebSocket en ejecución. entrante a tu servidor WebSocket en ejecución:

    [
  {
    "action": "talk",
    "text": "Please wait while we connect you to the AI agent"
  },
  {
    "action": "connect",
    "from": "YourAssignedNumber",
    "endpoint": [
      {
        "type": "websocket",
        "uri": "wss://your.websocket.domain/ws",
        "content-type": "audio/l16;rate=16000"
      }
    ]
  }
]

  4. Llama al número de teléfono asociado a la aplicación Voice Playground.

Véase también