Conversão de fala em texto

O Reconhecimento Automático de Fala (ASR) permite que os aplicativos ofereçam suporte à entrada de voz para casos de uso como IVR, identificação e diversos tipos de bots/assistentes de voz. Ao utilizar esse recurso, o aplicativo obtém a transcrição da fala do usuário (na forma de texto) quando espera que o usuário responda a alguma pergunta falando, em vez de digitar dígitos (DTMF); e, então, pode continuar o fluxo da chamada de acordo com sua lógica de negócios, com base no que o usuário disse.

Como funciona

Normalmente, o ASR é usado em conjunto com uma mensagem de áudio reproduzida para o usuário. A mensagem pode ser uma arquivo de áudio ou Conversão de texto em fala, ou uma combinação de ambos executados sequencialmente. Para ativar o ASR, o NCCO deve conter um input ação com parâmetros de fala especificados.

Exemplo de NCCO

[
  {
    "action": "talk",
    "text": "Hello!"
  },
  {
    "action": "talk",
    "text": "Please tell us, how can we help you today?",
    "bargeIn": true
  },
  {
    "eventUrl": ["https://api.example.com/callbacks/events"],
    "eventMethod": "POST",
    "action": "input",
    "type": ["speech"],
    "speech": {
      "provider": "google",
      "providerOptions": {
        "language_code": "en-US",
        "speech_contexts": [
          {
            "phrases": ["hello", "world", "speech recognition"],
            "boost": 10.0
          }
        ]
      }
    }
  }
]

O Guia de Referência da NCCO contém informações sobre todos os parâmetros possíveis que podem ser utilizados em conjunto com o ASR input Ação da NCCO.

Tipo de entrada

Conjunto type como speech apenas para entrada por voz, ou [ "dtmf", "speech" ] para aceitar tanto a fala quanto DTMF.

Provedor e opções de provedor

Ao usar a entrada por voz, você pode escolher explicitamente qual provedor de conversão de voz em texto a Vonage utilizará, configurando provider. Os valores permitidos são deepgram e google. Se você não definir provider, a Vonage utiliza o comportamento padrão.

Exemplo speech objeto com providerOptions:

{
  "speech": {
    "provider": "google",
    "providerOptions": {
      "language_code": "en-US",
      "speech_contexts": [
        {
          "phrases": ["hello", "world", "speech recognition"],
          "boost": 10.0
        }
      ]
    }
  }
}

Uso providerOptions para passar a configuração de conversão de fala em texto específica do provedor. Ao usar providerOptions, as chaves e os valores em providerOptions são determinados pelo provedor escolhido. Para mais detalhes, consulte a documentação sobre Deepgram ou Google sobre como especificá-los dentro de providerOptions.

Se você omitir provider, você pode omitir providerOptions também. Se você definir provider, incluem providerOptions (pode ser um objeto vazio) {} ou null).

Suporte ao modelo

A Vonage oferece suporte aos seguintes recursos model valores em providerOptions, dependendo do provedor:

Idioma (antigo)

O idioma esperado da fala do usuário deve ser especificado como o language parâmetro (en-US (por padrão).

Idiomas suportados

Contexto (antigo)

Algumas dicas podem ser fornecidas por meio do context parâmetro de matriz para melhorar a qualidade do reconhecimento. Os valores definidos podem ser as palavras ou frases esperadas do usuário, por exemplo, ['one', 'two', 'three'] ou ['support', 'order starship'].

Intrometer-se

Se o usuário não estiver ligando pela primeira vez, ele talvez já saiba qual pergunta fazer, de modo que pode começar a falar antes mesmo de a mensagem de áudio terminar. Para dar suporte a isso, bargeIn parâmetro do TTS (ou stream - (seja qual for a ação utilizada para a mensagem) deve ser ativada.

Salvar áudio

O áudio da fala pode ser armazenado, se desejado. Para obter a gravação, o saveAudio Se o parâmetro tiver que ser definido, então o recording_url será incluído na carga útil da solicitação de retorno de chamada. Isso pode ser útil para comparar a transcrição com o áudio original. Use o Baixar uma gravação trecho de código para baixar o áudio.

Exemplo de carga útil de evento

Assim que o NCCO input Quando a ação for concluída, o callback de entrada será enviado:

{
  "speech": {
    "recording_url": "https://api-us.nexmo.com/v1/files/ee94a327-ab6b-4bef-86bf-cadca33343e9",
    "timeout_reason": "end_on_silence_timeout",
    "results": [
      {
        "confidence": "1.0",
        "text": "one two three four five six seven eight nine ten"
      }
    ]
  },
  "dtmf": {
    "digits": null,
    "timed_out": false
  },
  "uuid": "529aa8f0-0ad8-42b0-ad61-b76dca18bb52",
  "conversation_uuid": "CON-7347b08d-5f51-478f-bfb2-e8c3fd39509f",
  "timestamp": "2020-02-07T11:42:40.933Z"
}

No corpo da resposta, espera-se um novo NCCO, contendo as próximas ações do fluxo da chamada com base na lógica do aplicativo e nas entradas do usuário (speech.results.text). Veja também Referência sobre Webhooks para mais detalhes.