Teilen Sie:
){kind=small}
Abdul ist ein Developer Advocate für Vonage. Er hat einen Hintergrund als iOS-Ingenieur im Bereich Verbraucherprodukte. In seiner Freizeit fährt er gerne Rad, hört Musik und berät diejenigen, die gerade ihre Reise in die Technologiebranche beginnen.
Ericsson Holographische Kommunikation App Demo
Lesedauer: 3 Minuten
Ericsson Holographic Communication (EHC) ermöglicht vollständig immersive 3D-Erlebnisse in Echtzeit, die mit Consumer-Mobilgeräten über 5G aufgebaut werden können und gleichzeitig ein größeres Gefühl von räumlicher Wahrnehmung, Nähe und Präsenz vermitteln. In Zusammenarbeit mit der Vonage Video API Team haben sie eine Demo erstellt, um holografische Videoanrufe mit dem Vonage Video SDK und den TrueDepth-Kameras auf iPhones und iPads.
Ursprünglich wurden AR-Brillen zur Projektion von Hologrammen verwendet. Später wurden mobile Endgeräte wie Telefone einbezogen, so dass die Nutzer die holografische Kommunikation auf ihren vorhandenen mobilen Geräten erleben konnten. Während wir glauben gibt es unzählige Anwendungsfälle gibtkonzentriert sich das Projekt zu Beginn auf die Bereiche E-Health und Unterhaltung Anwendungsfälle. In der Welt der Unterhaltung könnten Sie in Ihrem Wohnzimmer sitzen und ein holografisches Konzert Ihres Lieblingssängers in vollen Zügen genießen oder Ihren Lieblings-Vlog in 3D sehen.
Diese holografischen Erlebnisse vermitteln ein Gefühl der Präsenz, das mit 2D-Videos allein nicht erreicht werden kann. Sie erhöhen das Engagement, bieten neue Möglichkeiten der Interaktion mit den Inhalten und machen sie für den Betrachter angenehmer. In Telemedizinumgebungen ist es bei Ferntherapiesitzungen wichtig, eine starke Verbindung und Vertrauen zwischen Arzt und Patient aufzubauen, damit die Sitzung effektiv und produktiv ist.
Attendee trying out a demo
Eine 3D-Präsenz im Raum kann die Intimität und das Verständnis für emotionale Nuancen fördern. Durch diese Verbindung fühlen sich die Patienten wohl und öffnen sich, was zu erfolgreicheren Ergebnissen führt. Das Team sah eine Möglichkeit, die Technologie mehr Menschen zugänglich zu machen, indem es ein Unity SDK für die Verwendung mit dem Vonage Video SDK entwickelte.
Holographic video with AR glasses
Um eine holographischen Kommunikation Demo mit dem Vonage Video SDK zu ermöglichen, wurden einige neue Funktionen entwickelt. Vor allem wurde ein neuer WebRTC-Kamera-Capturer entwickelt, der sowohl Tiefendaten als auch Standard-Videodaten gleichzeitig erfassen kann.
Example of TrueDepth Camera
Die TrueDepth-Kameras liefern eine große Menge an Tiefendaten. Damit diese effizient verarbeitet werden können, hat das Team eine Bibliothek mit leistungsstarken Kompressionsalgorithmen entwickelt. Diese wird verwendet, um die Tiefendaten zu komprimieren, bevor sie an den Empfänger gesendet werden.
Um diese Daten zu senden, wird eine eigene Implementierung des WebRTC-Multiplex-Codec erstellt. Der Multiplex-Codec ermöglicht es, mehr als nur die üblichen Audio- und Videodaten zu senden, und wird traditionell zum Senden von Alphadaten mit einer festen Größe verwendet. Die benutzerdefinierte Implementierung entfernt diese festen Alphadaten und ersetzt sie durch dynamische Tiefendaten, nachdem sie komprimiert worden sind. Auf diese Weise können die Tiefen- und Videodaten gleichzeitig gesendet und empfangen werden, ohne dass eine Synchronisierung zwischen beiden erforderlich ist.
Zusätzlich zu den Videodaten werden auch Tiefendaten verarbeitet. Wie Sie sich vorstellen können, führt dies zu einem Anstieg der verwendeten Bandbreite. Jedes Bild besteht aus komprimierten Video- und Tiefeninformationen. Der Tiefenpuffer kann bis zu 350 KB aufnehmen, aber die tatsächlich benötigte Bandbreite hängt von verschiedenen Faktoren ab, wie z. B. der Auflösung, den Bildern pro Sekunde, der Nähe des Benutzers zur Kamera usw. In der unten gezeigten Demo wurden im Durchschnitt etwa 10 MBit an Tiefendaten pro Sekunde übertragen. Die Demo-Anwendung läuft über eine stabile Wi-Fi-Verbindung und wurde auf dem Mobile World Congress in einem 5G-Standalone-Netz demonstriert.
In der Demoanwendung gibt es zwei Abläufe, den Sender und den Empfänger. Wie bereits erwähnt, werden die Tiefendaten dann komprimiert und über das Vonage Video SDK mit dem benutzerdefinierten WebRTC Multiplex Codec an den Empfänger gesendet.
Der Empfangsfluss der Anwendung verwendet ein Holographic Video Unity SDK. Das Vonage Video SDK empfängt die Daten von der Senderseite, die dann an das Unity SDK weitergeleitet werden, das das Rendering des Hologramms übernimmt. Intern verwendet das Unity SDK die Unity AR Foundation Bibliothek, um das Hologramm in der Welt des Empfängers zu platzieren!
Die Demo-Anwendung wurde auf dem diesjährigen Mobile World Congress ausgestellt und erhielt viel positives Feedback von den Teilnehmern! Die Begeisterung war in der Menge deutlich zu spüren. Ein Teilnehmer sagte: "Es fühlt sich an, als würden wir die Zukunft schon heute erleben", und ein anderer fragte: "Wann wird es die neue Norm werden?" Dieses Interesse deutet darauf hin, dass die Technologie die Effizienz, die Kommunikation und die Nutzererfahrung in verschiedenen Bereichen verbessern und neue Anwendungsfälle schaffen könnte, die wir uns noch gar nicht vorstellen können.
Folgen Sie dem Vonage Developer Experience Team auf X, früher bekannt als Twitter, oder treten Sie der Vonage Gemeinschaft Slack Kanal. Wenn Sie mehr über Ericsson Holographic Communication erfahren möchten, wenden Sie sich an das Team unter E-Mail.
Teilen Sie:
Abdul ist ein Developer Advocate für Vonage. Er hat einen Hintergrund als iOS-Ingenieur im Bereich Verbraucherprodukte. In seiner Freizeit fährt er gerne Rad, hört Musik und berät diejenigen, die gerade ihre Reise in die Technologiebranche beginnen.