https://d226lax1qjow5r.cloudfront.net/blog/blogposts/live-captions-api-is-now-ga/live-captions-ga.png

Live Untertitel API ist jetzt GA

Zuletzt aktualisiert am September 4, 2023

Lesedauer: 1 Minute

Die Vonage Live-Untertitel-API ist jetzt allgemein verfügbar. Diese Funktion innerhalb der Video API trägt dazu bei, die Zugänglichkeit zu verbessern, die Benutzererfahrung in lauten Umgebungen zu steigern und Untertitel in Echtzeit für eine bessere Kommunikation zu ermöglichen. In diesem Artikel werden wir die wichtigsten Vorteile, die Funktionsweise der API und die ersten Schritte erläutern.

Warum Live-Untertitel anbieten?

Zugänglichkeit: Es kann nicht davon ausgegangen werden, dass jeder, der an einem Gespräch teilnimmt, hören kann.

Laute Umgebungen: Selbst mit den besten Kopfhörern mit Geräuschunterdrückung kann eine laute Umgebung eine Herausforderung darstellen.

Kontext wiederherstellen: Sie haben verpasst, was jemand gerade gesagt hat? Wahrscheinlich können Sie die Überschrift im Feed noch sehen.

Präferenz des Benutzers: Laut einer Umfrage von YouGovbevorzugt eine beträchtliche Anzahl von Menschen die Einblendung von Bildunterschriften/Untertiteln. Ich weiß, dass ich das tue.

(Bonus) Übersetzung: Dies ist nur ein weiterer Schritt, um eine Bildunterschrift in die Sprache des Betrachters zu übersetzen.


Survey table from YouGov asking if people prefer subtitles on or off when watching shows in their native language. Among all UK adults, 28% prefer subtitles on, 65% off. In the 18–24 age group, 61% prefer subtitles on, while in the 50–64 group, only 13% do. Preferences shift toward subtitles off with increasing age.YouGov poll results showing subtitle preferences when watching TV or movies in one’s native language, broken down by age group.

So funktioniert die Live Captions API

Die Live Captions API empfängt die Audioströme (sowohl von Video- als auch von SIP-Einwahlteilnehmern), die den Media Router passieren, und leitet sie an einen Transkriptionsdienst weiter.

Diagram of a transcription flow where WebRTC client A and B send audio to a Video Media Router, which forwards A’s and B’s audio streams to AWS Transcribe. AWS returns transcribed text of each stream separately back to the router.Architecture diagram showing audio streams from two WebRTC clients routed through a Video Media Router to AWS Transcribe, which returns individual transcribed text streams.

Vorteile für Entwickler

  • Live-Untertitel sind standardmäßig für alle Projekte aktiviert.

  • Ihre Anwendung sendet bereits Medienströme an den Medienrouter.

  • Sie müssen die Computer und/oder Mobilgeräte Ihrer Nutzer nicht weiter belasten, indem Sie einen weiteren Stream zur Transkription senden.

  • Keine Transkriptionsbibliothek bzw. kein Transkriptionsdienst eines Drittanbieters, der erlernt und implementiert werden muss.

Aktivieren von Live-Untertiteln in Ihrer Anwendung

Eine ausführlichere Beschreibung finden Sie in der Live-Untertitel-Dokumentation.

Stellen Sie zunächst eine POST-Anfrage an den Live Captions API-Endpunkt mit Ihren Vonage-Anmeldedaten. Dann können Sie eines unserer Client-SDKs verwenden, um das Senden und Empfangen von Untertiteln zu starten oder zu beenden.

Probieren Sie es aus

Sofortige Bereitstellung einer Basic Live Captions API-Demo für Stackblitz und verweisen auf eine laufende Server-URL in config.js. Den Quellcode finden Sie im GitHub Repository.

Schlussfolgerung

Die Live Captions API ist ein leistungsfähiges Werkzeug zur Verbesserung der Zugänglichkeit und des Benutzererlebnisses in Ihren Video Applications. Beginnen Sie noch heute, damit zu arbeiten, und zögern Sie nicht, uns Ihr Feedback oder Ihre Fragen mitzuteilen.

Wir würden uns freuen, von Ihnen zu hören. Bitte kontaktieren Sie uns in unserem Slack-Kanal der Gemeinschaft. Wenn Sie auf X sind, folgen Sie dem VonageDev Account, um die neuesten Updates zu erhalten.

Teilen Sie:

https://a.storyblok.com/f/270183/400x400/04765919bb/zachary-powell-1.png
Zachary PowellSenior Android Entwickler Advocate