技術詳細

AIをお探しですか？

ビデオ＋AI体験の構築 ビデオ＋AIの概要, ライブ・キャプションそして ポストコール・テープ起こし.

Vonage Video API では、完全に管理されたリアルタイム・セッションを Web やモバイル・アプリケーションに組み込むことができます。クライアントSDKは、シグナリングとレイアウトイベントを処理しながらメディアをキャプチャして配信し、サーバSDKまたはRESTエンドポイントは、セッションを作成し、トークンを作成し、アーカイブ、ブロードキャスト、SIP相互接続、およびコールバックを管理します。

建築概要

すべてのVonage Videoアプリには クライアント(1)、(2)、(3)、(4) アプリサーバーの内部を走る。 セッション をVonageクラウドで利用することができます。

Client

Uses the client SDK (Web/iOS/Android/Desktop)
Obtains sessionId + token from your server
Connects to the session, publishes local A/V
Subscribes to remote streams, handles events

App Server

Uses a Server SDK / REST API
Creates sessions; generates tokens and roles
Implements business logic & webhooks/callbacks
Controls recording, broadcast, moderation, storage

Session

“Room” hosted in Vonage Video Cloud
Signaling, events, media routing
Publish/subscribe of streams

認証とセッションの流れ

アカウントとアプリケーションを作成します： Vonageビデオを生成する アプリケーションID そして プライベート・キー.
セッションを作成する：を生成する。 sessionId サーバーSDKまたはRESTを使用する。
トークンを発行する：適切なロールとTTLを持つトークンを作成する。
セッションに参加するフロントエンドフェッチ {apiKey, sessionId, token} エンドポイントからクライアント SDK に接続します。

サーバー側コントロール

セッションとトークン：セッションを作成し、ロールと有効期限付きのトークンを発行する。
アーカイブ（録画）：アーカイブの開始/停止、録画の保存/検索。
放送（HLS/RTMP）：セッションをCDNまたはRTMPエンドポイントにストリーミングする。
SIP相互接続： PSTN/SIPをセッションにブリッジする。
コールバック/ウェブフック：アーカイブ/ブロードキャストのステータスと接続イベントを受信する。
ライブキャプションリアルタイムのトランスクリプションとキャプションオーバーレイを有効にします。
オーディオ・コネクター生のオーディオをAIサービスにストリームしたり、合成されたオーディオをフィードバックする。
エクスペリエンス・コンポーザー：録画、放送、または大規模な視聴のためにブランドレイアウトをレンダリングします。
アプリケーションAPI：どのVonageアプリケーションでビデオ機能が有効になっているかを管理します。 videoCapabilities.

機能概要

リアルタイム・コラボレーション

セッションとパブリッシュ／サブスクライブアダプティブ・ルーティングを使用したマルチパーティオーディオ/ビデオ用。
画面共有ウィンドウ、ブラウザのタブ、またはディスプレイ全体をキャプチャします。
シグナリング＆メッセージングチャット、リアクション、セッション中のコントロールに使用します。

レコーディング＆プロダクション

アーカイブを使用して、セッションの全記録をキャプチャ、保存、検索できます。
エクスペリエンス・コンポーザーブランド化されたウェブレイアウトを、アーカイブ、ブロードキャスト、または大規模な視聴のための合成ストリームにレンダリングします。
オーディオ・コネクターを使用して、生のオーディオをAIパイプラインにストリーミングしたり、合成されたオーディオをセッションに戻すことができます。

AIインテグレーション

ライブ・キャプションリアルタイムのトランスクリプションとキャプションのオーバーレイのために。
オーディオコネクター＋AIワークフロー音声合成、翻訳、エージェント体験のパワーアップに。

流通

放送 HLS/RTMPをCDNやソーシャルデスティネーションにストリーミングする。
SIP相互接続そしてオーディオ・コネクターテレフォニー、ボット、コンプライアンス・キャプチャ・ソリューションの橋渡しをする。

ツール

デバッグ

インスペクター参加者、ストリーム、品質イベントを追跡する。
アーカイブ・インスペクターアーカイブのタイムライン、予想される期間、エラー状態について。

診断ツール

プレコールテストを使用して、セッションの前にカメラ、マイク、帯域幅、ファイアウォールの準備状況を Verify します。

インサイト＆アナリティクス

インサイト GraphiQL Explorer を使用して、Insights および Advanced Insights GraphQL API を介して使用状況データをクエリします。
インサイトAPIガイド GraphQLクエリをツールに統合するためのものです。

能力の探求

ビデオ・プレイグラウンドセッション、キャプション、エクスペリエンス・コンポーザーなどのプロトタイプを、コードを書かずに作成できます。

スターターガイド＆サンプル

GitHubのビデオサンプルレポジトリをご覧ください。ウェブ, iOSそしてアンドロイド - キャプション、SIP、マルチパーティレイアウトなど、すぐに実行できるプロジェクトが満載です。
フォークビデオリファレンスアプリ (Web、Android、iOS) UX、CI、テストワークフローを満たした本番環境を手に入れる。

注： TokBoxは現在Vonage Videoとなっている。