Demonstração do aplicativo de comunicação holográfica da Ericsson

A Comunicação Holográfica da Ericsson (EHC) possibilita experiências 3D totalmente imersivas e em tempo real, que podem ser criadas com dispositivos móveis de uso doméstico por meio da rede 5G, ao mesmo tempo em que proporciona uma maior sensação de percepção espacial, proximidade e presença. Em colaboração com a Vonage Video API , eles criaram uma demonstração para realizar videochamadas holográficas usando o SDK de Video da Vonage e as câmeras TrueDepth em iPhones e iPads.

Por trás da comunicação holográfica

Inicialmente, os óculos de RA eram usados para projetar hologramas. Posteriormente, dispositivos móveis de consumo, como celulares, foram incorporados, permitindo que os usuários experimentassem a comunicação holográfica em seus próprios dispositivos móveis. Embora nós acreditamos que existam inúmeros casos de uso, o projeto, como ponto de partida, concentra-se na saúde digital e entretenimento . No mundo do entretenimento, você poderia estar sentado na sua sala e curtir plenamente um show holográfico do seu cantor favorito ou assistir ao seu vlog preferido em 3D.

Essas experiências holográficas proporcionam uma sensação de presença que não pode ser alcançada apenas com vídeos em 2D, aumentando o envolvimento, trazendo novas formas de interagir com o conteúdo e tornando-o mais agradável para o espectador. Em ambientes de telessaúde, em sessões de terapia à distância, é importante estabelecer uma conexão forte e construir confiança entre o médico e o paciente para garantir que a sessão seja eficaz e produtiva.

Attendee trying out a demo

A presença 3D na sala pode ajudar a promover a intimidade e a compreensão das nuances emocionais. Esse vínculo faz com que os pacientes se sintam à vontade e se abram, levando a resultados mais bem-sucedidos. A equipe viu uma oportunidade de levar a tecnologia a mais pessoas ao criar um SDK do Unity para uso com o SDK de Video da Vonage.

Holographic video with AR glasses

Adaptando o SDK de vídeo

Para obter comunicação holográfica demonstração demonstração funcionando com o SDK de vídeo da Vonage, foram desenvolvidos alguns novos recursos. O mais importante foi a criação de um novo capturador de câmera WebRTC para capturar simultaneamente dados de profundidade e dados de vídeo padrão.

Example of TrueDepth Camera

As câmeras TrueDepth fornecem uma grande quantidade de dados de profundidade. Para que esses dados sejam processados de forma eficiente, a equipe desenvolveu uma biblioteca com algoritmos de compressão de alto desempenho. Ela é utilizada para comprimir os dados de profundidade antes que sejam enviados ao destinatário.

Para enviar esses dados, é necessária uma implementação personalizada do codec Multiplex do WebRTC foi criada. O codec Multiplex permite enviar mais do que apenas os dados habituais de áudio e Video, e é tradicionalmente usado para enviar dados alfa com tamanho fixo. A implementação personalizada remove esses dados alfa fixos e os substitui por dados de profundidade dinâmicos após a compactação. Isso permite que os dados de profundidade e de Video sejam enviados e recebidos ao mesmo tempo, evitando a necessidade de sincronização entre os dois.

Requisitos de largura de banda

Além dos dados de Video, também são processados dados de profundidade. Como você pode imaginar, isso levaria a um aumento na quantidade de largura de banda utilizada. Cada quadro é composto por Video compactado e informações de profundidade. O buffer de profundidade suporta até 350 KB, mas a quantidade real de largura de banda necessária varia de acordo com vários fatores, como a resolução, o número de quadros por segundo, a distância do usuário em relação à câmera etc. Na demonstração mostrada abaixo, foram transferidos, em média, cerca de 10 Mbits de dados de profundidade por segundo. O aplicativo de demonstração é executado em uma conexão Wi-Fi estável e foi demonstrado em uma rede 5G autônoma no Mobile World Congress.

O aplicativo de demonstração

Existem dois fluxos no aplicativo de demonstração: o remetente e o destinatário. Conforme mencionado anteriormente, os dados de profundidade são então compactados e enviados ao destinatário por meio do SDK de vídeo da Vonage, utilizando o codec WebRTC Multiplex personalizado.

O fluxo de recepção do aplicativo utiliza um SDK de vídeo holográfico do Unity. O SDK de vídeo da Vonage recebe os dados do lado do remetente, que são então repassados ao SDK do Unity, responsável pela renderização do holograma. Internamente, o SDK do Unity utiliza a biblioteca Unity AR Foundation para posicionar o holograma no mundo do receptor!

O aplicativo de demonstração foi apresentado durante o Mobile World Congress deste ano e recebeu muitos comentários positivos dos participantes! O entusiasmo era evidente entre o público. Um participante comentou: “Parece que já estamos vivendo o futuro hoje”, e outro perguntou: “Quando isso se tornará o novo padrão?”. Esse interesse sugere que a tecnologia poderia aumentar a eficiência, a comunicação e a experiência do usuário em diversos campos, criando novos casos de uso que ainda nem imaginamos.

Entre em contato

Siga a equipe de Experiência do Desenvolvedor da Vonage no X, antes conhecido como Twitter, ou participe da canal da Comunidade Vonage no Slack . Se você tiver interesse em saber mais sobre a Comunicação Holográfica da Ericsson, entre em contato com a equipe pelo e-mail.