Démonstration de l'application de communication holographique d'Ericsson

La communication holographique d'Ericsson (EHC) permet des expériences 3D totalement immersives, en temps réel, qui peuvent être construites avec des appareils mobiles grand public sur la 5G, tout en offrant un plus grand sentiment de conscience spatiale, de proximité et de présence. En collaboration avec l'API vidéo de Vonage Video API de Vonage, ils ont réalisé une démonstration permettant de passer des appels vidéo holographiques à l'aide du SDK Video de Vonage et les caméras TrueDepth des iPhones et iPads.

Derrière la communication holographique

Au départ, des lunettes AR étaient utilisées pour projeter des hologrammes. Par la suite, des appareils mobiles grand public tels que des téléphones ont été inclus, permettant aux utilisateurs d'expérimenter la communication holographique sur leurs appareils mobiles existants. Bien que nous nous pensons nous pensons qu'il y a d'innombrables cas d'utilisationle projet se concentre dans un premier temps sur l'e-santé et le divertissement les cas d'utilisation. Dans le monde du divertissement, vous pourriez être assis dans votre salon et profiter pleinement d'un concert holographique de votre chanteur préféré ou regarder votre vlog favori en 3D.

Ces expériences holographiques procurent un sentiment de présence qui ne peut être atteint avec la seule vidéo 2D, ce qui augmente l'engagement, apporte de nouvelles façons d'interagir avec le contenu et le rend plus agréable pour le spectateur. Dans les environnements de télésanté, lors des séances de thérapie à distance, il est important d'établir un lien solide et de renforcer la confiance entre le médecin et le patient afin de garantir l'efficacité et la productivité de la séance.

Attendee trying out a demo

Une présence en 3D dans la pièce peut favoriser l'intimité et la compréhension des nuances émotionnelles. Ce lien permet aux patients de se sentir à l'aise et de s'ouvrir, ce qui se traduit par de meilleurs résultats. L'équipe a vu une opportunité d'apporter cette technologie à plus de personnes en créant un SDK Unity à utiliser avec le SDK Video de Vonage.

Holographic video with AR glasses

Adaptation du SDK Video

Pour obtenir holographique communication démo avec le SDK Video de Vonage, de nouvelles fonctionnalités ont été développées. Plus important encore, un nouveau capteur de caméra WebRTC a été construit pour capturer simultanément les données de profondeur et les données vidéo standard.

Example of TrueDepth Camera

Les caméras TrueDepth fournissent une grande quantité de données de profondeur. Pour que ces données soient traitées efficacement, l'équipe a créé une bibliothèque avec des algorithmes de compression très performants. Celle-ci est utilisée pour compresser les données de profondeur avant qu'elles ne soient envoyées au récepteur.

Pour envoyer ces données, une implémentation personnalisée du codec codec WebRTC Multiplex a été créée. Le codec Multiplex permet d'envoyer plus que les données audio et vidéo habituelles, et est traditionnellement utilisé pour envoyer des données alpha de taille fixe. L'implémentation personnalisée supprime ces données alpha fixes et les remplace par des données de profondeur dynamiques après leur compression. Cela permet d'envoyer et de recevoir les données de profondeur et les données Video en même temps afin d'éviter toute synchronisation entre les deux.

Exigences en matière de largeur de bande

En plus des données Video, des données de profondeur sont également traitées. Comme vous pouvez l'imaginer, cela entraîne une augmentation de la largeur de bande utilisée. Chaque image est composée de vidéo compressée et d'informations sur la profondeur. Le tampon de profondeur peut prendre en charge jusqu'à 350 Ko, mais la quantité réelle de bande passante nécessaire varie en fonction de plusieurs facteurs, tels que la résolution, le nombre d'images par seconde, la proximité de l'utilisateur par rapport à la caméra, etc. Dans la démonstration présentée ci-dessous, environ 10 Mbits de données de profondeur ont été transférés en moyenne par seconde. L'application de démonstration fonctionne sur une connexion Wi-Fi stable et a fait l'objet d'une démonstration sur un réseau autonome 5G lors du Mobile World Congress.

L'application de démonstration

Il y a deux flux dans l'application de démonstration, l'émetteur et le récepteur. Comme indiqué précédemment, les données de profondeur sont ensuite compressées et envoyées au récepteur via le SDK Video de Vonage à l'aide du codec WebRTC Multiplex personnalisé.

Le flux de réception de l'application utilise un SDK de vidéo holographique Unity. Le SDK Video de Vonage reçoit les données de l'expéditeur, qui sont ensuite transmises au SDK Unity qui gère le rendu de l'hologramme. En interne, le SDK Unity utilise la fondation Unity AR Foundation pour placer l'hologramme dans le monde des récepteurs !

L'application de démonstration a été présentée lors du Mobile World Congress cette année et a reçu de nombreux commentaires positifs de la part des participants ! L'enthousiasme de la foule était évident. Cet intérêt suggère que la technologie pourrait améliorer l'efficacité, la communication et l'expérience des utilisateurs dans divers domaines, créant ainsi de nouveaux cas d'utilisation que nous n'avons même pas encore imaginés.

Prendre contact

Suivez l'équipe Vonage Developer Experience sur Xanciennement connu sous le nom de Twitter, ou rejoignez la Communauté Vonage Slack de la communauté Vonage. Si vous souhaitez en savoir plus sur la communication holographique d'Ericsson, contactez l'équipe à l'adresse suivante courriel.