Vonage Audio Serialisierer für Pipecat

Übersicht

In dieser Anleitung wird erklärt, wie Sie eine Rohrkolben Sprach-AI-Pipeline zu eine Vonage Video-Sitzung oder einen Voice-Anruf mit dem Vonage Audio Serializer für Pipecat. Der Serializer übernimmt die Konvertierung des Audioformats und die WebSocket-Konnektivität zwischen Pipecat und der Plattform von Vonage.

Vonage stellt einen OpenAI-basierten Voice-Chat-Agenten in der pipecat-Beispiel-Repository um die beiden in diesem Leitfaden behandelten Szenarien zu demonstrieren.

Für Anwendungsfälle, die auch Videoverarbeitung oder Video-Avatare beinhalten, siehe Videoanschluss Pipecat Integration.

Bevor Sie beginnen

Bevor Sie beginnen, vergewissern Sie sich, dass Sie alles haben:

  • Python auf Ihrem Server installiert

  • Ein Vonage Account mit Video API oder Voice API Zugang

  • Das Pipecat-Beispiel-Repository wurde lokal geklont:

    git clone https://github.com/pipecat-ai/pipecat-examples.git

  • Nur für Sprachsitzungen: eine Telefonnummer, die eingehende Anrufe empfangen kann

Pipecat mit einer Vonage-Videositzung verbinden

  1. Erstellen Sie eine Vonage Video-Sitzung entweder mit:

  2. Konfigurieren Sie die Beispielanwendung, indem Sie die Umgebungsvariablen in der Datei vonage-audio-bot mit Ihren Vonage-Anmeldedaten und Sitzungsdetails. Siehe die README.md für erforderliche Variablen.

  3. Starten Sie den WebSocket-Server, indem Sie die Startanweisungen im Abschnitt README.md.

  4. Öffnen Sie eine Audio-Connector-Verbindung von Ihrer Video-Sitzung zu dem laufenden WebSocket-Server, Folgen Sie den Audio-Anschlussanleitung und die Schritte im README.md.

Pipecat mit einer Vonage Voice-Sitzung verbinden

  1. Konfigurieren Sie die Beispielanwendung, indem Sie die Umgebungsvariablen in der Datei vonage-audio-bot Ordner mit Ihren Vonage-Anmeldedaten. Siehe die README.md für erforderliche Variablen.

  2. Starten Sie den WebSocket-Server, indem Sie die Startanweisungen im Abschnitt README.md.

  3. Erstellen Sie im Voice Playground im Vonage Dashboard einen NCCO, der einen eingehenden Anruf mit Ihrem laufenden WebSocket-Server verbindet:

    [
  {
    "action": "talk",
    "text": "Please wait while we connect you to the AI agent"
  },
  {
    "action": "connect",
    "from": "YourAssignedNumber",
    "endpoint": [
      {
        "type": "websocket",
        "uri": "wss://your.websocket.domain/ws",
        "content-type": "audio/l16;rate=16000"
      }
    ]
  }
]

  4. Rufen Sie die Telefonnummer an, die mit der Anwendung Voice Playground verknüpft ist.

Siehe auch