Utilize o Media Processor e os Transformadores de Vídeo com IA com a Video API da Vonage

Neste artigo, exploraremos as ferramentas e as estruturas de IA/ML que podem ser úteis para desenvolvedores que trabalham com a Video API da Vonage. Além disso, examinaremos alguns exemplos de integrações utilizando ferramentas padrão.

Desde o início da pandemia, muitas pessoas passaram a trabalhar em casa e, até o momento, muitas empresas de TI continuam otimizando suas despesas fechando ou vendendo seus escritórios. Muitos funcionários continuam trabalhando de casa. Você pode encontrar mais dados no relatório de engajamento do cliente. Isso também aumentou a demanda por novos recursos que ajudam a garantir a privacidade e o foco durante videochamadas, como desfoque de fundo, redução de ruído e rastreamento do locutor. Esses recursos são úteis quando você trabalha de casa, em um espaço de coworking e, ocasionalmente, no aeroporto.

A pandemia nos levou a repensar a forma como trabalhamos, e as videoconferências tiveram um papel significativo nessa transformação. As applications de vídeo estão impulsionando a evolução tecnológica, e muitas soluções de IA estão agora sendo integradas às videoconferências.

Simplificando o trabalho com fluxos inseríveis

Estabelecendo as bases para a manipulação de mídia por IA, criamos o Media Processor — um recurso que simplifica o uso da API Insertable Streams do WebRTC para integração com transformadores de vídeo personalizados. O Media Processor permite conectar facilmente uma série de transformadores pelos quais os quadros de vídeo passarão. O desfoque de fundo ou o cancelamento de ruído são exemplos de possíveis transformadores. O Vonage Media Processor é uma biblioteca aceleradora para desenvolvedores web que desejam usar fluxos inseríveis em navegadores baseados no Chrome, utilizando qualquer SDK da Vonage (Voice e Video).

• @vonage/media-processor é a biblioteca que simplifica o uso de Insertable Streams

• A orquestração do fluxo de mídia é gerenciada pela biblioteca @vonage/media-processor/MediaProcessor

• Controla os transformadores

• Exibe setTransformers, setVideoTransformers, setAudioTransformers

• Permite conectar transformadores em série @vonage/media-processor/MediaProcessorConnector

• Conecta o MediaProcessor ao OT Publisher Transformadores

• Classe na qual os algoritmos de transformação são implementados

• O ML Transformers oferece uma implementação de referência

Aplicação dos transformadores de aprendizado de máquina da Vonage a fluxos de Video e áudio

Com o Media Processor como base para trabalhar com fluxos inseríveis, agora podemos incorporar transformadores que facilitarão a movimentação de quadros de Video e áudio. O Vonage ML Transformers é uma biblioteca que implementa algoritmos de aprendizado de máquina para a web. Essa biblioteca se baseia em bibliotecas proprietárias e de código aberto, incluindo @vonage/media-processor para orquestração, e MediaPipe e TensorFlow Lite (TFLite) para os aprimoramentos de vídeo propriamente ditos. O TensorFlow Lite é uma biblioteca móvel para implantação de modelos em dispositivos móveis, microcontroladores e outros dispositivos de borda. A biblioteca permite que os usuários executem modelos TFLite arbitrários na web, carregando um modelo TFLite a partir de uma URL, definindo os dados de entrada do modelo com tensores TFJS, executando a inferência e obtendo a saída de volta em tensores TFJS. Além disso, ela inclui classes auxiliares para auxiliar com determinados tipos de modelos, como modelos de detecção de objetos.

A biblioteca MediaPipe é uma biblioteca de código aberto sob a licença MIT. Para nossa solução de desfoque/substituição de fundo, utilizamos o solução de segmentação de selfies da MediaPipe. A biblioteca oferece suporte a todas as soluções do MediaPipe JS. Isso ajuda os desenvolvedores a criar projetos incríveis com qualquer módulo do MediaPipe JS.

Biblioteca da Vonage que fornece algoritmos de aprendizado de máquina:

• Com base em MediaPipe e no TFLite

• Acesso a todos os algoritmos do MediaPipe (js)

  • Segmentação de selfies

  • Malha facial

  • Detecção da íris

  • Detecção de mãos

  • Objectron

  • Holístico

  • Pose

• Oferece implementações para efeitos visuais:

  • Desfoque de fundo

  • Fundo virtual

  • Desfoque de silhueta

  • Contexto do Video

Detalhes da implementação:​

• Utiliza o solução de segmentação de selfies do MediaPipe .

• O processo é executado em um web worker.

• As soluções da MediaPipe são baseadas em WebGL e wasm (SIMD).

• A solução não vem com os binários do MediaPipe incluídos. Adicionamos os recursos estáticos no CDN do AWS CloudFront. Aqui estão os endereços IP incluídos na lista de permissões do CloudFront.

• O MediaProcessorConfig permite definir o parâmetro mediapipeBaseAssetsUri, que possibilita ao usuário hospedar por conta própria os ativos do MediaPipe. No entanto, NÃO recomendamos isso.

Conclusão

Tem alguma ideia de como usar o Transformers com conteúdo de Video? Experimente com um dos exemplos de aplicações ou crie o seu próprio. Mostre suas criações de IA ou diga-nos como podemos ajudar! Participe da conversa na nossa Slack da Comunidade Vonage ou envie-nos uma mensagem no Twitter.