Empfangen Sie jetzt Audio mit dem Vonage Video API Audio Connector

Einführung

Es wurden bereits einige Blogbeiträge über die Audio-Connector-Funktion in der Vonage Video API ("Verbessern Sie Ihre Vonage Video Applications mit Audio Connector", "Video + AI: Live-Übersetzungen mit Audio Connector", und "Video + AI: Konfigurierbare Audioverarbeitung für Video Applications"). In jedem Fall stellen Sie eine Verbindung zu einem WebSocket-Server her und verarbeiten dann die Audiodaten des Videoanrufs, um z. B. Übersetzungen, Transkriptionen und Besprechungsnotizen zu erstellen.

Durch die Einstellung der bidirektionalen Flagge auf true setzen, wenn Sie den Audio Connector starten, können Sie Audio in den Videoanruf zurücksenden. Dies eröffnet eine Welt voller neuer Möglichkeiten. In Bezug auf den oben erwähnten Anwendungsfall, bei dem nur übersetzter Text zurückgegeben wurde, kann dieser nun in Audio übersetzt werden!

Beispiel für einen Anwendungsfall

Mit großen Sprachmodellen und anderen KI-Tools können die zurückgesendeten Audiodaten als Antwort auf die vom Videoanruf gesendeten Audiodaten generiert werden. Stellen Sie sich zum Beispiel vor, eine Gruppe von Freunden plant eine Reise ins Ausland. Sie können jederzeit ein Video-Gespräch mit einem KI-Reiseberater führen, in dem sie alle ihre Fragen stellen und ihre Ideen so lange wie nötig diskutieren können. Der KI-Reiseberater wird in der Lage sein, auf der Grundlage von Echtzeitdaten, die aus einer Vielzahl von Quellen stammen, zu antworten. Ein Audiogespräch ist ein viel besseres Nutzererlebnis. Sobald alle Reisedetails geklärt sind, kann der KI-Reiseberater diese Informationen an ein Reisebüro weitergeben, das die Buchung abwickelt.

Probieren Sie es aus

Möchten Sie es ausprobieren? Hier ist eine Web-Beispielanwendung für einen einfachen Videoanruf mit einem WebSocket-Server, der den Ton des Videoanrufs als Echo zurückgibt. Es ist ein gutes Einsteigerprojekt, um ein Gefühl dafür zu bekommen, wie die Dinge funktionieren.

Schlussfolgerung

Mit der neuen bidirektionalen Funktion des Audio Connectors können Sie jetzt Audiodaten in Echtzeit senden und empfangen und so die Tür für Übersetzungen, Transkriptionen und KI-gestützte Konversationen öffnen. Wenn Sie Fragen haben, können Sie sich gerne an uns wenden. Gemeinschaft Slack.