Recursos e soluções de IA da Video API da Vonage
O Vonage Video oferece APIs e SDKs que permitem acessar os fluxos de vídeo e áudio de uma sessão de vídeo ao vivo e modificá-los utilizando ferramentas de IA da Vonage e de terceiros, além de outros serviços.
Essas alterações podem ser feitas em tempo real durante uma sessão de vídeo da Vonage em andamento. Isso significa que os participantes da sessão podem perceber as alterações à medida que elas ocorrem.
Aprimore Applications de vídeo com IA
O Processador de Mídia da Vonage oferece acesso aos fluxos brutos de áudio e vídeo por meio dos SDKs do cliente de vídeo para realizar operações de transformação em faixas individuais de vídeo e áudio. Isso permite que você modifique os fluxos de áudio ou vídeo com a Vonage ou os encaminhe por meio de serviços de terceiros para fazer as modificações desejadas.
A API Live Captions permite a transcrição de fluxos de áudio para a geração de legendas em tempo real durante a sessão de vídeo. O serviço é utilizado para fornecer transcrições instantâneas para casos de uso de Reconhecimento Automático de Fala (ASR) e Conversão de Fala em Texto (STT), como legendas na tela, transcrições e traduções.
Da mesma forma, o Conector de áudio fornece acesso ao áudio bruto de uma sessão de vídeo da Vonage por meio de uma interface WebSocket, que você pode então enviar para seus próprios serviços de IA gerenciados, como Serviço de Reconhecimento de Fala do Azure da Microsoft.
A transcrição pós-chamada em sessões de vídeo fornece transcrições e resumos com base em um arquivo gravado. Isso é útil para anotações de reuniões, resumos de reuniões e casos de uso relacionados à conformidade.
Reunimos uma variedade de casos de uso, juntamente com os recursos e exemplos de código que podem ajudá-lo a dar os primeiros passos. Você também pode conferir o Recursos relacionados seção abaixo para começar ou dê uma olhada neste gráfico para ver quais dos nossos recursos podem ser mais adequados para você.
| Eu quero... | Nome do recurso | Referências de código (documentação, exemplos, guias práticos) |
|---|---|---|
| TRANSFORMAÇÃO DE FALA EM TEXTO | ||
| Gravar minha reunião com transcrição | Transcrição pós-atendimento | Documentação, Aplicativo de exemplo, Webinar |
| Resumo da minha reunião | Transcrição pós-atendimento com resumo | Documentação, Aplicativo de exemplo |
| Adicionar legendas às minhas reuniões | Legendas em tempo real | Documentação, Aplicativo de exemplo, Webinar |
| Anotar em tempo real | Legendas em tempo real | Documentação |
| Traduzir usuários para outro idioma (texto) | Conector de áudio | Artigo do blog |
| Áudio para usuários moderados | Sinalização, Silenciar editor | Artigo do blog |
| PROCESSAMENTO BÁSICO DE MÍDIA | ||
| Desfocar o fundo do vídeo (Web) | Desfoque de fundo | Desfoque/Substituição do fundo, Aplicativo de exemplo |
| Desfocar o fundo do vídeo (Nativo) | APIs do processador de mídia | Documentação |
| Substituir o plano de fundo do vídeo (Web) | Substituição do plano de fundo | Desfoque/Substituição do fundo |
| Substituir o plano de fundo do vídeo (Nativo) | APIs do processador de mídia | Documentação |
| Adicionar marcas d’água às transmissões | APIs do processador de mídia | Marcas d’água e códigos QR |
| Adicionar códigos QR | APIs do processador de mídia | Marcas d’água e códigos QR |
| Remover ruído de fundo | Supressão de ruído | Supressão de ruído |
| Modular o áudio com efeitos | APIs do processador de mídia | |
| VISÃO COMPUTACIONAL | ||
| Preste atenção quando alguém levantar a mão | APIs do processador de mídia | Artigo do blog |
| Detectar quando alguém está olhando para fora da tela | APIs do processador de mídia | Artigo do blog |
| Veja os objetos no enquadramento | APIs do processador de mídia | Análise de Imagens |
| BOTS E IA AGENTE | ||
| Obtenha o sentimento do chamador em tempo real | Conector de áudio | Análise de Sentimento |
| Chatbot tradicional | Conector de áudio | |
| Traduzir automaticamente a fala do usuário para outro idioma | Conector de áudio | |
| Criar um pipeline de IA (STT → LLM/Agente de IA → TTS) | Conector de áudio | Aplicativo de exemplo |
| Processamento do agente de IA de voz para voz | Conector de áudio | |
| Reproduzir um anúncio de voz gerado por IA em uma sessão de vídeo | Conector de áudio |
Recursos relacionados
- Processador de mídia: Descubra como capturar e modificar fluxos de vídeo.
- Conector de áudio: Saiba como acessar e modificar o áudio bruto de sessões de vídeo ao vivo da Vonage.
- Postagens no blog: Veja tutoriais exemplificativos sobre como as sessões de vídeo ao vivo da Vonage podem ser aprimoradas com o uso da IA.