Serializador de Áudio da Vonage para o Pipecat

Visão geral

Este guia explica como conectar um Pipecat pipeline de IA de voz para uma sessão de vídeo ou chamada de voz da Vonage usando o Vonage Audio Serializer para Pipecat. O serializador lida com a conversão de formatos de áudio e a conectividade WebSocket entre o Pipecat e a plataforma da Vonage.

A Vonage disponibiliza um exemplo de agente de chat de voz baseado na OpenAI no repositório pipecat-examples para demonstrar os dois cenários abordados neste guia.

Para casos de uso que também envolvam processamento de vídeo ou avatares de vídeo, consulte Vonage Video Transport para Pipecat.

Antes de começar

Antes de começar, certifique-se de que você tenha:

  • Python instalado no seu servidor

  • Um account da Vonage com Video API ou Voice API acesso

  • O repositório de exemplos do Pipecat clonado localmente:

    git clone https://github.com/pipecat-ai/pipecat-examples.git

  • Apenas para sessões de voz: um número de telefone que possa receber chamadas

Conecte o Pipecat a uma sessão de vídeo da Vonage

  1. Crie uma sessão do Vonage Video usando uma das seguintes opções:

  2. Configure o aplicativo de exemplo atualizando as variáveis de ambiente no arquivo vonage-audio-bot pasta com suas credenciais da Vonage e os detalhes da sessão. Consulte o README.md para as variáveis obrigatórias.

  3. Inicie o servidor WebSocket seguindo as instruções de inicialização contidas no README.md.

  4. Abra uma conexão do Audio Connector a partir da sua sessão de vídeo com o servidor WebSocket em execução, seguindo as instruções do Guia de conectores de áudio e as etapas do README.md.

Conectar o Pipecat a uma sessão de voz da Vonage

  1. Configure o aplicativo de exemplo atualizando as variáveis de ambiente no arquivo vonage-audio-bot pasta com suas credenciais da Vonage. Consulte o README.md para as variáveis obrigatórias.

  2. Inicie o servidor WebSocket seguindo as instruções de inicialização contidas no README.md.

  3. No Voice Playground do Painel de Controle da Vonage, crie um NCCO que conecte uma chamada recebida ao seu servidor WebSocket em execução:

    [
  {
    "action": "talk",
    "text": "Please wait while we connect you to the AI agent"
  },
  {
    "action": "connect",
    "from": "YourAssignedNumber",
    "endpoint": [
      {
        "type": "websocket",
        "uri": "wss://your.websocket.domain/ws",
        "content-type": "audio/l16;rate=16000"
      }
    ]
  }
]

  4. Ligue para o número de telefone associado ao aplicativo Voice Playground.

Veja também