Processamento de chamadas de voz com o Amazon Transcribe e o Comprehend

Neste tutorial, vamos orientá-lo na configuração de uma conexão de referência do Amazon Transcribe e Comprehend. Também vamos orientá-lo na configuração de um aplicativo de exemplo usando a Voice API da Vonage, que permitirá que um chamador se conecte a outra pessoa por meio da plataforma da Vonage. A chamada receberá, então, uma transcrição em tempo real separada, com análise de sentimento para a fala de cada participante, por meio da conexão de WebSockets à conexão de referência.

As plataformas de IA da AWS oferecem recursos avançados, que incluem o mecanismo de transcrição Amazon Transcribe e o mecanismo de análise de sentimento Amazon Comprehend.

Este tutorial irá orientá-lo na configuração de uma conexão de referência do Amazon Transcribe e do Comprehend e de um aplicativo de exemplo utilizando a Voice API da Vonage.

Este aplicativo de exemplo permitirá que um usuário ligue para um número de telefone na plataforma Vonage, que, por sua vez, ligará para outro usuário. Ambos os usuários conversarão entre si, e o fluxo de áudio de cada um será enviado por meio de um WebSocket para a conexão de referência, a fim de ser transcrito em tempo real. Em seguida, as transcrições são enviadas para a conexão de referência para análise de sentimento em tempo real.

Cada participante conta com uma transcrição e uma análise de sentimento em tempo real independentes. Neste aplicativo de exemplo, há dois participantes na teleconferência. A transcrição e a análise de sentimento independentes funcionariam da mesma forma mesmo com um número maior de participantes na teleconferência.

Na primeira seção, configuraremos a conexão de referência do Amazon Transcribe e do Comprehend, permitindo a transmissão em tempo real do áudio da voz de cada participante por meio de um WebSocket da plataforma Vonage. O envio de trechos de áudio, transcrições e resultados de análise de sentimento de/para o Amazon Transcribe e o Amazon Comprehend é realizado por meio de solicitações HTTP (seguras). Ele também retransmite as transcrições e as pontuações de sentimento de volta para o aplicativo da Voice API usando webhooks.

Na seção a seguir, vamos configurar um aplicativo de exemplo que utiliza a Voice API da Vonage para realizar o seguinte:

• Atender uma chamada recebida

• Ligue para a outra parte

• Estabelecer um WebSocket para cada parte

• Receber transcrições separadas para cada parte

• Envie transcrições para análise de sentimentos

• Receber pontuações de sentimento separadas para cada frase do discurso de cada partido

O diagrama abaixo apresenta uma visão geral de uma arquitetura de integração de exemplo.

O aplicativo de exemplo apresentado neste artigo lida com uma teleconferência entre duas partes conectadas via PSTN (por exemplo, celular, telefone fixo, telefone VoIP, ramal de PBX).

Configurar a conexão de referência do Amazon Transcribe e do Amazon Comprehend

• Acesse https://github.com/nexmo-community/transcribe-comprehend-multi-sub,

• Siga as instruções descritas neste repositório,

• Selecione um dos tipos de implantação, conforme explicado no seção “Executando a conexão de referência do Transcribe e do Comprehend” ,

• Anote o nome de host público e a porta do servidor (por exemplo, xxxx.ngrok.io, myserver.mycompany.com:40000ou <docker_host_name>:<proxy_port>), pois ele será necessário na próxima seção “Configurar o aplicativo de exemplo da Voice API da Vonage” (como argumento do parâmetro TRANSCRIBE_COMPREHEND_REFERENCE_CONNECTION).

Configurar o aplicativo de exemplo da Voice API da Vonage

• Acesse https://github.com/nexmo-community/transcribe-comprehend-client,

• Siga as instruções descritas neste repositório,

• Selecione um dos tipos de implantação, conforme explicado no Executando o aplicativo cliente do Transcribe & Comprehend ,

• Anote o número de telefone vinculado ao seu aplicativo da Voice API e o CALLEE_NUMBER , conforme explicado na seção “Configure as credenciais e o número de telefone do seu aplicativo da Voice API da Vonage” , pois serão mencionados na próxima seção “Teste o aplicativo de exemplo”.

Experimente o aplicativo de exemplo

• Ligue para o número de telefone vinculado ao seu aplicativo da Voice API, você ouvirá “Aguarde, estamos conectando sua chamada”,

• Pessoa de contato com número de telefone CALLEE_NUMBER será ligada; atenda essa ligação e você ouvirá “Estamos conectando você ao chamador”,

• Agora, tanto quem liga quanto quem recebe a ligação podem conversar entre si,

• Você verá na console de conexão de referência do Transcribe and Comprehend , bem como no aplicativo de exemplo da Voice API da Vonage , as transcrições e as pontuações de sentimento das frases de cada participante.