シェア:
){kind=small}
アブドゥルはVonageのデベロッパー・アドボケイト。iOSエンジニアとして消費者向け製品に携わった経歴を持つ。余暇には、サイクリング、音楽鑑賞、技術者としての道を歩み始めたばかりの人々の指導を楽しんでいる。
エリクソンのホログラフィック・コミュニケーション・アプリのデモ
所要時間：1 分
エリクソン・ホログラフィック・コミュニケーション（EHC）は、コンシューマー・グレードのモバイル・デバイスで5Gを介して構築可能な、完全没入型のリアルタイム3D体験を可能にし、同時に空間認識、近接性、臨場感を向上させます。Vonageとの協力により Video APIチームと協力し、Vonage Video SDKを使用してホログラフィック・ビデオ通話ができるデモを構築した。 Vonage Video SDKとiPhoneやiPadのTrueDepthカメラを使ってホログラフィック・ビデオ通話ができるデモを構築した。
当初、ARグラスはホログラムを投影するために使用された。その後、スマホのようなコンシューマーグレードのモバイルデバイスが搭載され、ユーザーは既存のモバイルデバイスでホログラフィックコミュニケーションを体験できるようになった。我々は 我々は 無数の無数のユースケースこのプロジェクトは、e-ヘルスとエンターテイメントに焦点を当てている。 エンターテイメントユースケースである。エンターテインメントの世界では、リビングルームに座って好きな歌手のホログラフィック・コンサートを楽しんだり、お気に入りのブログを3Dで見たりすることができる。
このようなホログラフィック体験は、2Dビデオだけでは達成できない臨場感を提供し、エンゲージメントを高め、コンテンツとの新たなインタラクション方法をもたらし、視聴者にとってより楽しいものにする。遠隔医療環境では、遠隔治療セッションにおいて、セッションが効果的で生産的であることを確実にするために、医師と患者の間に強いつながりを確立し、信頼を築くことが重要です。
Attendee trying out a demo
部屋の中に3Dが存在することで、親密さが増し、感情的なニュアンスを理解しやすくなる。この絆は、患者を安心させ、心を開かせ、より成功する結果につながります。チームは、Vonage Video SDKで使用するためのUnity SDKを作成することで、この技術をより多くの人に提供する機会を得ました。
Holographic video with AR glasses
ホログラムを得るために ホログラフィック コミュニケーションデモ をVonage Video SDKで動作させるために、いくつかの新機能が開発されました。最も重要なのは、深度データと標準ビデオデータの両方を同時にキャプチャするために、新しいWebRTCカメラキャプチャが構築されたことです。
Example of TrueDepth Camera
TrueDepthカメラは大量の深度データを提供する。これを効率的に処理するため、チームは高性能な圧縮アルゴリズムを備えたライブラリを構築した。これは、レシーバーに送信する前に深度データを圧縮するために使用される。
このデータを送信するには、カスタム実装の WebRTC多重コーデックのカスタム実装が作成されました。Multiplexコーデックは、通常のオーディオとビデオデータ以外のデータを送信することができ、従来は固定サイズのアルファデータを送信するために使用されていました。カスタム実装では、この固定アルファ・データを削除し、圧縮後に動的な深度データに置き換えます。これにより、デプスデータとVideoデータを同時に送受信することができ、2つのデータ間の同期を行う必要がなくなります。
Videoデータだけでなく、奥行きデータも扱われる。想像できるように、これは使用される帯域幅の増加につながる。各フレームは圧縮ビデオと深度情報で構成される。深度バッファは最大350KBまでサポートできるが、実際に必要な帯域幅は、解像度、1秒あたりのフレーム数、ユーザーとカメラの距離など、いくつかの要因によって異なる。以下に示すデモでは、平均して1秒あたり約10Mビットの深度データが転送された。このデモ・アプリケーションは安定したWi-Fi接続で実行され、Mobile World Congressでは5Gスタンドアロン・ネットワークでデモされた。
デモ・アプリケーションには、送信側と受信側の2つのフローがあります。前述のように、奥行きデータは圧縮され、カスタムWebRTC Multiplexコーデックを使用してVonage Video SDK経由で受信側に送信されます。
アプリケーションの受信フローは、Holographic Video Unity SDKを使用します。Vonage Video SDKは送信側からデータを受信し、それをUnity SDKに渡してホログラムのレンダリングを処理します。内部的には、Unity SDKは ユニティARファンデーションライブラリを使用して、受信者の世界にホログラムを配置します！
デモ・アプリケーションは今年のモバイル・ワールド・コングレスで展示され、参加者から多くの好意的なフィードバックを得た！その興奮は観客の間でも明らかだった。ある参加者は「今日、すでに未来を体験しているような気がする」と語り、また別の参加者は「いつになったら新しい常識になるのだろうか」と質問した。この関心は、この技術がさまざまな分野で効率、コミュニケーション、ユーザー体験を向上させ、私たちがまだ想像もしていない新しいユースケースを生み出す可能性を示唆している。
Vonageデベロッパーエクスペリエンスチームをフォローする Xでフォローするか Vonage コミュニティ Slackチャンネルに参加してください。エリクソン・ホログラフィック・コミュニケーションについてご興味のある方は、下記までご連絡ください。 電子メール.