Sprache zu Text

Automatische Spracherkennung (ASR) ermöglicht es Anwendungen, Spracheingabe für Anwendungsfälle wie IVR, Identifizierung und verschiedene Arten von Sprachbots/-assistenten zu unterstützen. Mit dieser Funktion erhält die App die transkribierte Sprache des Benutzers (in Textform), sobald sie erwartet, dass der Benutzer eine Frage durch Sprechen und nicht durch die Eingabe von Ziffern (DTMF) beantwortet, und kann dann den Anruffluss gemäß ihrer Geschäftslogik auf der Grundlage der Aussagen des Benutzers fortsetzen.

Wie es funktioniert

In der Regel wird ASR in Verbindung mit einer Audionachricht verwendet, die dem Benutzer vorgespielt wird. Bei der Nachricht kann es sich um eine Audiodatei oder Text-to-Speechoder eine Kombination aus beiden, die nacheinander abgespielt werden. Um die ASR zu aktivieren, sollte NCCO ein input Aktion mit angegebenen Sprachparametern.

NCCO-Beispiel

[
  {
    "action": "talk",
    "text": "Hello!"
  },
  {
    "action": "talk",
    "text": "Please tell us, how can we help you today?",
    "bargeIn": true
  },
  {
    "eventUrl": ["https://api.example.com/callbacks/events"],
    "eventMethod": "POST",
    "action": "input",
    "type": ["speech"],
    "speech": {
      "provider": "google",
      "providerOptions": {
        "language_code": "en-US",
        "speech_contexts": [
          {
            "phrases": ["hello", "world", "speech recognition"],
            "boost": 10.0
          }
        ]
      }
    }
  }
]

Die NCCO-Referenzhandbuch enthält Informationen über alle möglichen Parameter, die in Verbindung mit dem ASR verwendet werden können input NCCO-Aktion.

Eingabe Typ

Satz type als speech nur für Spracheingabe, oder [ "dtmf", "speech" ] sowohl die Rede als auch die DTMF.

Anbieter und Anbieteroptionen

Wenn Sie die Spracheingabe verwenden, können Sie explizit auswählen, welchen Speech-to-Text-Anbieter Vonage verwendet, indem Sie provider. Der einzige unterstützte Wert ist google. Wenn Sie nicht providerVonage verwendet das Standardverhalten.

Beispiel speech Objekt mit providerOptions:

{
  "speech": {
    "provider": "google",
    "providerOptions": {
      "language_code": "en-US",
      "speech_contexts": [
        {
          "phrases": ["hello", "world", "speech recognition"],
          "boost": 10.0
        }
      ]
    }
  }
}

Verwenden Sie providerOptions um die anbieterspezifische Speech-to-Text-Konfiguration zu übergeben. Bei Verwendung von providerOptionsdie Schlüssel und Werte in providerOptions werden durch den gewählten Anbieter bestimmt. Einzelheiten finden Sie in der Dokumentation für Google wie man sie innerhalb von providerOptions.

Wenn Sie auslassen providerkönnen Sie weglassen providerOptions auch. Wenn Sie die providerumfassen providerOptions (es kann ein leeres Objekt sein {} oder null).

Modell-Unterstützung

Vonage unterstützt Folgendes model Werte in providerOptions:

Sprache (Legacy)

Die erwartete Sprache der Benutzersprache sollte als language Parameter (en-US standardmäßig).

Unterstützte Sprachen

Kontext (Erbe)

Einige Hinweise können mit der Funktion context Array-Parameter, um die Erkennungsqualität zu verbessern. Die eingestellten Werte können z. B. die vom Benutzer erwarteten Wörter oder Sätze sein, ['one', 'two', 'three'] oder ['support', 'order starship'].

Hereinspaziert

Wenn der Benutzer nicht zum ersten Mal anruft, kennt er vielleicht schon die Frage, die gestellt werden soll, so dass er schon zu sprechen beginnt, bevor die Audionachricht beendet ist. Um dies zu unterstützen, bargeIn Parameter des TTS (oder stream - welche Aktion auch immer für die Nachricht verwendet wird) sollte aktiviert werden.

Audio speichern

Der Sprachton kann optional gespeichert werden. Um die Aufzeichnung zu erhalten, muss die saveAudio gesetzt sein sollte, dann wird der Parameter recording_url wird in die Nutzlast der Rückrufanforderung aufgenommen. Dies kann nützlich sein, um die Transkription mit dem Originalton zu vergleichen. Verwenden Sie die Eine Aufnahme herunterladen Codefragment zum Herunterladen der Audiodaten.

Beispiel für Ereignis-Payloads

Sobald der NCCO input Aktion abgeschlossen ist, wird der Eingabe-Callback gesendet:

{
  "speech": {
    "recording_url": "https://api-us.nexmo.com/v1/files/ee94a327-ab6b-4bef-86bf-cadca33343e9",
    "timeout_reason": "end_on_silence_timeout",
    "results": [
      {
        "confidence": "1.0",
        "text": "one two three four five six seven eight nine ten"
      }
    ]
  },
  "dtmf": {
    "digits": null,
    "timed_out": false
  },
  "uuid": "529aa8f0-0ad8-42b0-ad61-b76dca18bb52",
  "conversation_uuid": "CON-7347b08d-5f51-478f-bfb2-e8c3fd39509f",
  "timestamp": "2020-02-07T11:42:40.933Z"
}

Im Antwortkörper wird ein neuer NCCO erwartet, der die nächsten Aktionen des Anrufablaufs auf der Grundlage der Anwendungslogik und der Benutzereingaben enthält (speech.results.text). Siehe auch Webhook-Referenz für Einzelheiten.