Compartir:
){kind=small}
Abdul es desarrollador de Vonage. Ha trabajado en productos de consumo como ingeniero de iOS. En su tiempo libre, le gusta andar en bicicleta, escuchar música y asesorar a aquellos que están comenzando su viaje en la tecnología.
Demostración de la aplicación de comunicación holográfica de Ericsson
Tiempo de lectura: 3 minutos
Ericsson Holographic Communication (EHC) permite experiencias 3D totalmente inmersivas y en tiempo real que se pueden construir con dispositivos móviles de consumo a través de 5G, al tiempo que proporciona una mayor sensación de conciencia espacial, proximidad y presencia. En colaboración con la Video API han construido una demo para poder tener videollamadas holográficas utilizando el SDK de Video de Vonage y las cámaras TrueDepth de iPhones y iPads.
Al principio se utilizaban gafas de realidad aumentada para proyectar hologramas. Más tarde, se incluyeron dispositivos móviles de consumo, como teléfonos, que permitían a los usuarios experimentar la comunicación holográfica en sus dispositivos móviles existentes. Aunque creemos que en innumerables casos de usoel proyecto se centra en la sanidad electrónica y el entretenimiento casos de uso. En el mundo del entretenimiento, podría estar sentado en el salón de su casa y disfrutar plenamente de un concierto holográfico de su cantante favorito o ver su vlog favorito en 3D.
Estas experiencias holográficas proporcionan una sensación de presencia que no puede lograrse sólo con vídeo 2D, lo que aumenta el compromiso, aporta nuevas formas de interactuar con el contenido y lo hace más agradable para el espectador. En los entornos de telesalud, en las sesiones de terapia a distancia, es importante establecer una fuerte conexión y generar confianza entre el médico y el paciente para garantizar que la sesión sea eficaz y productiva.
Attendee trying out a demo
Una presencia tridimensional en la sala puede ayudar a mantener la intimidad y a comprender los matices emocionales. Este vínculo hace que los pacientes se sientan cómodos y se abran, lo que conduce a resultados más satisfactorios. El equipo vio la oportunidad de llevar la tecnología a más gente creando un SDK de Unity para utilizarlo con el SDK de Video de Vonage.
Holographic video with AR glasses
Para obtener holográfico comunicación demo funcionando con el SDK de Video de Vonage se desarrollaron algunas características nuevas. La más importante, se creó un nuevo capturador de cámara WebRTC para capturar simultáneamente datos de profundidad y datos de vídeo estándar.
Example of TrueDepth Camera
Las cámaras TrueDepth proporcionan una gran cantidad de datos de profundidad. Para gestionarlos con eficacia, el equipo ha creado una biblioteca con algoritmos de compresión de alto rendimiento. Esto se utiliza para comprimir los datos de profundidad antes de enviarlos al receptor.
Para enviar estos datos, se utiliza una implementación personalizada del códec códec WebRTC Multiplex personalizada. El códec Multiplex permite enviar algo más que los datos habituales de audio y vídeo, y tradicionalmente se utiliza para enviar datos alfa con un tamaño fijo. La implementación personalizada elimina estos datos alfa fijos y los sustituye por datos de profundidad dinámicos una vez comprimidos. Esto permite que los datos de profundidad y de vídeo se envíen y reciban al mismo tiempo para evitar tener que hacer ninguna sincronización entre ambos.
Además de los datos de Video, también se manejan datos de profundidad. Como se puede imaginar, esto supone un aumento del ancho de banda utilizado. Cada fotograma se compone de vídeo comprimido e información de profundidad. El búfer de profundidad puede soportar hasta 350 KB, pero la cantidad real de ancho de banda necesaria varía en función de varios factores, como la resolución, los fotogramas por segundo, lo cerca que esté el usuario de la cámara, etc. En la demostración que se muestra a continuación, se transfirieron de media unos 10 Mbits de datos de profundidad por segundo. La aplicación de demostración funciona con una conexión Wi-Fi estable y se demostró en una red autónoma 5G en el Mobile World Congress.
Hay dos flujos en la aplicación de demostración, el emisor y el receptor. Como se mencionó anteriormente, los datos de profundidad se comprimen y se envían al receptor a través del SDK de Video de Vonage utilizando el códec personalizado WebRTC Multiplex.
El flujo de recepción de la aplicación utiliza un Unity SDK de Video Holográfico. El SDK de Video de Vonage recibe los datos del remitente y los pasa al SDK de Unity, que se encarga de renderizar el holograma. Internamente el Unity SDK utiliza la Unity AR Foundation para colocar el holograma en el mundo de los receptores.
La aplicación de demostración se exhibió durante el Mobile World Congress de este año y recibió muchos comentarios positivos de los asistentes. El entusiasmo era evidente entre la multitud. Un asistente dijo: "Parece que ya estamos viviendo el futuro", y otro preguntó: "¿Cuándo se convertirá en la nueva norma?" Este interés sugiere que la tecnología podría mejorar la eficiencia, la comunicación y la experiencia del usuario en diversos campos, creando nuevos casos de uso que aún no hemos imaginado.
Sigue al equipo de Vonage Developer Experience en Xantes conocido como Twitter, o únete a la comunidad de canal Slack de la comunidad de Vonage de la comunidad de Vonage. Si estás interesado en obtener más información sobre la comunicación holográfica de Ericsson, ponte en contacto con el equipo a través de correo electrónico.