Live-Unterschriften

Verwenden Sie die Live Captions API, um Audiostreams zu transkribieren und Echtzeit-Untertitel für Ihre Anwendung zu generieren.

Mit der Vonage Video Live Captions API können Sie Endnutzern in einer Vonage Video-Sitzung mithilfe eines Transkriptionsdienstes Live-Untertitel anzeigen. Wir nutzen AWS Transcribe als Transkriptionsanbieter. Da Live Captions den Ton vom OpenTok Media Router erfasst, kann der Dienst auch Untertitel für den Ton von Teilnehmern bereitstellen, die sich über SIP einwählen.

Live Captions ist standardmäßig für alle Projekte aktiviert und es handelt sich um ein nutzungsbasiertes Produkt. Die Nutzung von Live Captions wird auf der Grundlage der Anzahl der Audiostreams von Teilnehmern (oder Stream-IDs) berechnet, die an den Transkriptionsdienst gesendet werden. Weitere Informationen finden Sie unter Preisregeln für Live Captions API.

Die Funktion Live-Untertitel wird nur in gerouteten Sitzungen unterstützt (Sitzungen, die die OpenTok Media Router). Sie können bis zu 50 Audiostreams aus einer einzigen Vonage-Sitzung gleichzeitig an den Transkriptionsdienst für Untertitel senden.

Schritte zur Aktivierung von Live-Untertiteln

  1. Verwenden Sie die REST-API oder das Server-SDK, um die Untertitelung für eine Sitzung zu aktivieren

  2. Verwenden Sie die Methode im Client SDK, um Audiodaten an den Untertitel-Dienst zu übermitteln:

  3. In abonnierenden Clients rufen Sie die entsprechende Client SDK-Methode für einen Abonnenten auf, um Untertitel für einen Stream zu abonnieren.

Beim Start der Live-Untertitelung überträgt OpenTok die Audiodaten sicher an einen externen Audio-Transkriptionsdienst wie beispielsweise Amazon Transcribe.

Verwenden Sie die Untertitel-API in den OpenTok-Client-SDKs, um den Empfang von Live-Untertiteln in Ihren Applications zu aktivieren oder zu deaktivieren:

Das Aktivieren oder Deaktivieren des Empfangs von Live-Untertiteln in einem Web-Client hat keine Auswirkungen auf die Untertitel, die von anderen mit der OpenTok-Sitzung verbundenen Clients empfangen werden.

Unterstützte Sprachen

„Live Captions“ unterstützt zahlreiche Sprachen und Dialekte. Geben Sie die gewünschte Sprache als languageCode Option, wenn Aktivieren von Live-Untertiteln über die REST-API:

  • "af-ZA" - Afrikaans
  • "ar-AE" - Arabisch, Golf
  • "ar-SA" - Arabisch, Moderner Standard
  • "eu-ES" - Baskisch
  • "ca-ES" - Katalanisch
  • "zh-HK" - Chinesisch, vereinfacht
  • "zh-CN" - Chinesisch, Kantonesisch
  • "zh-TW" - Chinesisch, traditionell
  • "hr-HR" - kroatisch
  • "cs-CZ" - Tschechisch
  • "da-DK" - Dänisch
  • "nl-NL" - Niederländisch
  • "en-AU" - Englisch, Australisch
  • "en-GB" - Englisch, Britisch
  • "en-IN" - Englisch, Indisch
  • "en-IE" - Englisch, Irisch
  • "en-NZ" - Englisch, Neuseeland
  • "en-AB" - Englisch, Schottisch
  • "en-ZA" - Englisch, Südafrikanisch
  • "en-US" - Englisch, US
  • "en-WL" - Englisch, Walisisch
  • "fa-IR" - Farsi
  • "fi-FI" - Finnisch
  • "fr-FR" - Französisch
  • "fr-CA" - Französisch, Kanadisch
  • "gl-ES" - Galicisch
  • "de-DE" - Deutsch
  • "de-CH" - Deutsch, Schweizerisch
  • "el-GR" - Griechisch
  • "he-IL" - Hebräisch
  • "hi-IN" - Hindi, Indisch
  • "id-ID" - Indonesisch
  • "it-IT" - Italienisch
  • "ja-JP" - Japanisch
  • "ko-KR" - Koreanisch
  • "lv-LV" - Lettisch
  • "ms-MY" - Malaiisch
  • "no-NO" - Norwegisch Bokmål
  • "pl-PL" - Polnisch
  • "pt-PT" - Portugiesisch
  • "pt-BR" - Portugiesisch, Brasilianisch
  • "ro-RO" - rumänisch
  • "ru-RU" - Russisch
  • "sr-RS" - serbisch
  • "sk-SK" - Slowakisch
  • "so-SO" - somalisch
  • "es-ES" - Spanisch
  • "es-US" - Spanisch, US
  • "sv-SE" - Schwedisch
  • "tl-PH" - Tagalog/Filipino
  • "th-TH" - Thailändisch
  • "uk-UA" - ukrainisch
  • "vi-VN" - Vietnamesisch
  • "zu-ZA" - Zulu

Anwendungsfälle

Live-Untertitel können die Benutzerfreundlichkeit einer Anwendung und das Engagement der Benutzer verbessern. Untertitel verbessern die Bewertung der Zugänglichkeit Ihrer Anwendung, was häufig zur Teilnahme von Menschen mit Hörbehinderungen führt. Einige Gesetze auf der ganzen Welt schreiben vor, dass Anwendungen Untertitel enthalten müssen.

Untertitel können in unkontrollierten Umgebungen zu einer besseren Verständlichkeit der Sprecher führen und so das Engagement der Nutzer verbessern.

Live-Untertitel sind nur für weitergeleitete OpenTok-Sitzungen verfügbar (Sitzungen, die die OpenTok Media Router).

Nach dem Aktivieren der Funktion Live-Untertitel:

  • Verwenden Sie die Client-Audiobeschriftungs-API, um die Audiobeschriftung für jeden veröffentlichten Stream zu starten.
  • Der Audiostream wird an einen Audio-Transkriptionsdienst eines Drittanbieters gesendet.
  • Verwenden Sie die Client-Audio-Captioning-API, um die Live-Untertitel für jeden veröffentlichten Stream zu abonnieren.
  • Die Entscheidung eines einzelnen Teilnehmers, keine Untertitel zu empfangen, hat keine Auswirkungen auf den Empfang von Untertiteln durch andere Teilnehmer in anderen mit der Sitzung verbundenen Clients.
  • Wenn die OpenTok-Sitzung beendet ist (d. h. wenn alle Clients keine Streams mehr an die Sitzung senden), können Sie ausdrücklich Untertitelung mit der Funktion „Untertitel stoppen“ beenden API. Andernfalls wird die Audio-Untertitelung automatisch beendet, sobald die maximale Dauer (die beim Aufruf der „Start Captions“-API festgelegt wurde) abgelaufen ist.
  • Die Live-Untertitelung wird automatisch beendet, sobald die in der Start Captions-API festgelegte maximale Dauer abgelaufen ist.

Anmerkungen

  • Verwenden Sie die Audio-Untertitel-API des Client SDK, um die Audio-Untertitelung für jeden veröffentlichten Stream zu starten.

  • Der Audiostrom wird an einen Audiotranskriptionsdienst eines Drittanbieters (AWS Transcribe) gesendet.

  • Verwenden Sie die Client-Audio-Captioning-API, um die Live-Untertitel für jeden veröffentlichten Stream zu abonnieren.

  • Die Entscheidung eines einzelnen Teilnehmers, keine Untertitel zu empfangen, hat keine Auswirkungen auf den Empfang von Untertiteln durch andere Teilnehmer in anderen mit der Sitzung verbundenen Clients.

  • Wenn die OpenTok-Sitzung beendet ist (d. h., wenn alle Clients keine Streams mehr an die Sitzung senden), können Sie die Untertitelung mithilfe der „Stop Captions“-API explizit beenden. Andernfalls wird die Audio-Untertitelung automatisch beendet, sobald die maximale Dauer (die beim Aufruf der „Start Captions“-API festgelegt wurde) abgelaufen ist.

  • Live-Untertitel für eine Sitzung enden während der Serverrotation. Sie können Live-Untertitel als Reaktion auf Benachrichtigungsereignisse zur Serverrotation neu starten. Siehe Server-Rotation und Sitzungsmigration.

Die standardmäßig maximal zulässige Dauer für Untertitel bei jeder OpenTok-Sitzung beträgt 4 Stunden. Sie können diese auf eine andere maximale Dauer festlegen, wenn Sie die Funktion „Start Captions“ aufrufen. API. Nach Ablauf der Zeit wird die Audio-Untertitelung beendet, ohne dass dies Auswirkungen auf die laufende OpenTok-Sitzung hat. Zudem wird die Untertitelung 60 Sekunden nach der Trennung des letzten Clients von der Sitzung beendet.

Live-Statusaktualisierung von Untertiteln

Sie können einen Webhook einrichten, um Ereignisse zu empfangen, wenn Live-Untertitel für eine Sitzung starten, stoppen und fehlschlagen.

  1. Gehen Sie zu Ihrem Video API-Konto und wählen Sie das Projekt in der Liste der Projekte im linken Menü aus.

  2. Unter Projekt-Einstellungenfinden Live-Überwachung von Untertiteln und klicken Sie Konfigurieren Sie.

  3. Übermitteln Sie die URL, an die die Rückrufe gesendet werden sollen.

    Sichere Rückrufe: Einstellen Unterschrift Geheimnis um sichere Webhook-Rückrufanforderungen mit signierten Rückrufen zu verwenden, die das Signaturgeheimnis verwenden. Siehe Sichere Rückrufe.

Wenn sich der Status von Live-Untertiteln ändert, wird ein HTTP POST an die Callback-URLs gesendet. Wenn keine Callback-URL konfiguriert ist, wird keine Statusaktualisierung übermittelt. Die Rohdaten der HTTP-Anforderung sind eine JSON-kodierte Nachricht der folgenden Form:


{
  "captionId": "<captionsId>",
  "projectId": "<apiKey>",
  "sessionId": "<sessionId>",
  "status": "stopped",
  "createdAt": 1651253477,
  "updatedAt": 1651253837,
  "duration": 360,
  "stream": {
    "streamId": "<streamId>",
    "streamStatus": "stopped"
  },
  "languageCode": "en-US",
  "reason": "Maximum duration exceeds.",
  "provider": "aws-transcribe",
  "status": "stopped",
  "group": "captions"
}

Das JSON-Objekt enthält die folgenden Eigenschaften:

  • captionsId — Die eindeutige ID für die Audio-Untertitel-Sitzung.
  • projectId — API-Schlüssel
  • sessionId — OpenTok-Sitzung, für die die Audio-Untertitelung gestartet wurde.
  • status — Aktueller Status der Live-Untertitel.
    • "started" — Die Vonage Video API-Plattform hat die erforderlichen Ressourcen für die Übertragung von Audiostreams zur Untertitelung erfolgreich zugewiesen. "transcribing" — Der Transkriptionsdienst hat begonnen (und die Untertitelung ist im Gange).* "stopped" — Die Untertitelung wurde beendet und alle Ressourcen wurden gelöscht.
    • "failed" — Der Untertitelungsdienst hat es versäumt, die erforderlichen Ressourcen bereitzustellen, oder es versäumt, die Streams für die Untertitelung zu übermitteln.
  • createdAt — Der Unix-Zeitstempel (Epoch), zu dem die Audiobeschreibung begonnen hat.
  • updatedAt — Der Unix-Zeitstempel (Epoch), zu dem die Audiobeschriftung aktualisiert wurde. Wenn der status „angehalten“ wird, dann ist die updatedAt gibt den Zeitpunkt an, zu dem die Untertitelung beendet wurde.
  • stream — Ein Objekt, das die Stream-ID und den Status des betreffenden Streams enthält.
  • languageCode — Der verwendete Sprachcode BCP-47
  • reason — Weitere Fehlerinformationen zur Statusänderung
  • provider —Der für die Audio-Untertitelung eingesetzte Drittanbieter:
    • "aws-transcribe" — Amazon Transcribe
  • group — Der Typ des Ereignisses, der bei Ereignissen der Audio-Captions-API stets auf „captions“ gesetzt ist.

Muster

Die opentok-web-samples – Beispiel „Basic-Captions“ nutzt Live-Untertitel in einer Web-App, die mit dem Vonage Client SDK erstellt wurde.

Bekannte Probleme

  • Wenn ein Teilnehmer länger als 15 Sekunden stummgeschaltet ist, wird die Verbindung zum Drittanbieter der Transkription unterbrochen, um Kosten zu sparen. Es kann 2-5 Sekunden dauern, bis die Verbindung wiederhergestellt ist und die Untertitel wieder angezeigt werden.

Weitere Informationen

Siehe dieser Vonage API-Support-Artikel für weitere technische Spezifikationen und FAQs.

Siehe dieser Vonage API-Support-Artikel für Informationen über die Preise der Live Captions API.