Sprache zu Text

Automatische Spracherkennung (ASR) ermöglicht es Anwendungen, Spracheingabe für Anwendungsfälle wie IVR, Identifizierung und verschiedene Arten von Sprachbots/-assistenten zu unterstützen. Mit dieser Funktion erhält die App die transkribierte Sprache des Benutzers (in Textform), sobald sie erwartet, dass der Benutzer eine Frage durch Sprechen und nicht durch die Eingabe von Ziffern (DTMF) beantwortet, und kann dann den Anruffluss gemäß ihrer Geschäftslogik auf der Grundlage der Aussagen des Benutzers fortsetzen.

Wie es funktioniert

In der Regel wird ASR in Verbindung mit einer Audionachricht verwendet, die dem Benutzer vorgespielt wird. Bei der Nachricht kann es sich um eine Audiodatei oder Text-to-Speechoder eine Kombination aus beiden, die nacheinander abgespielt werden. Um die ASR zu aktivieren, sollte NCCO ein input Aktion mit angegebenen Sprachparametern.

NCCO-Beispiel

[
  {
    "action": "talk",
    "text": "Hello!"
  },
  {
    "action": "talk",
    "text": "Please tell us, how can we help you today?",
    "bargeIn": true
  },
  {
    "eventUrl": [
      "https://api.example.com/callbacks/events"
    ],
    "eventMethod": "POST",
    "action": "input",
    "type": [ "speech" ],
    "speech": {
      "language": "en-gb",
      "context": [
        "support",
        "buy",
        "credit",
        "account"
      ],
      "endOnSilence": 0.5,
      "saveAudio": true,
      "sensitivity": "90"
    }
  }
]

Die NCCO-Referenzhandbuch enthält Informationen über alle möglichen Parameter, die in Verbindung mit dem ASR verwendet werden können input NCCO-Aktion.

Eingabe Typ

Satz type als speech nur für Spracheingabe, oder [ "dtmf", "speech" ] sowohl die Rede als auch die DTMF.

Sprache

Die erwartete Sprache der Benutzersprache sollte als language Parameter (en-US standardmäßig).

Unterstützte Sprachen

Kontext

Einige Hinweise können mit der Funktion context Array-Parameter, um die Erkennungsqualität zu verbessern. Die eingestellten Werte können z. B. die vom Benutzer erwarteten Wörter oder Sätze sein, ['one', 'two', 'three'] oder ['support', 'order starship'].

Hereinspaziert

Wenn der Benutzer nicht zum ersten Mal anruft, kennt er vielleicht schon die Frage, die gestellt werden soll, so dass er schon zu sprechen beginnt, bevor die Audionachricht beendet ist. Um dies zu unterstützen, bargeIn Parameter des TTS (oder stream - welche Aktion auch immer für die Nachricht verwendet wird) sollte aktiviert werden.

Audio speichern

Der Sprachton kann optional gespeichert werden. Um die Aufzeichnung zu erhalten, muss die saveAudio gesetzt sein sollte, dann wird der Parameter recording_url wird in die Nutzlast der Rückrufanforderung aufgenommen. Dies kann nützlich sein, um die Transkription mit dem Originalton zu vergleichen. Verwenden Sie die Eine Aufnahme herunterladen Codefragment zum Herunterladen der Audiodaten.

Beispiel für Ereignis-Payloads

Sobald der NCCO input Aktion abgeschlossen ist, wird der Eingabe-Callback gesendet:

{
  "speech": {
    "recording_url": "https://api-us.nexmo.com/v1/files/ee94a327-ab6b-4bef-86bf-cadca33343e9",
    "timeout_reason": "end_on_silence_timeout",
    "results": [
      {
        "confidence": "0.9405097",
        "text": "Support"
      },
      {
        "confidence": "0.70543784",
        "text": "Supper"
      },
      {
        "confidence": "0.5949854",
        "text": "Puppy"
      }
    ]
  },
  "dtmf": {
    "digits": null,
    "timed_out": false
  },
  "uuid": "529aa8f0-0ad8-42b0-ad61-b76dca18bb52",
  "conversation_uuid": "CON-7347b08d-5f51-478f-bfb2-e8c3fd39509f",
  "timestamp": "2020-02-07T11:42:40.933Z"
}

Im Antwortkörper wird ein neuer NCCO erwartet, der die nächsten Aktionen des Anrufablaufs auf der Grundlage der Anwendungslogik und der Benutzereingaben enthält (speech.results.text). Siehe auch Webhook-Referenz für Einzelheiten.