Vonage Video API AIの機能とソリューション

Vonage Videoは、APIとSDKを提供し、VonageやサードパーティのAIツールやその他のサービスを使用して、ライブビデオセッションからビデオとオーディオストリームの両方にアクセスし、これらのストリームを変更することができます。

これらの変更は、進行中のVonageビデオセッション内でリアルタイムに行うことができます。つまり、セッションに参加しているメンバーは、その場で変更を体験することができます。

AIによるビデオアプリケーションの強化

について ボネージ・メディア・プロセッサー は、VideoクライアントSDKを介して生のオーディオおよびビデオストリームにアクセスし、個々のビデオおよびオーディオトラックに対して変換処理を実行します。これにより、Vonageでオーディオ・ストリームやビデオ・ストリームを変更したり、サードパーティ・サービスを経由して必要な変更を加えることができます。

Live Captions API は、ビデオ・セッション内でリアルタイム・キャプションのための音声ストリームのトランスクリプションを可能にします。このサービスは、画面上のキャプション、トランスクリプション、翻訳など、自動音声認識（ASR）や音声テキスト化（STT）のユースケースに即時トランスクリプションを提供するために使用されます。

同様にオーディオ・コネクターのような独自のマネージドAIサービスに送ることができます。マイクロソフトのAzure AIスピーチサービス.

ビデオセッションのポストコール文字起こしは、録音されたファイルに基づいて文字起こしと要約を提供します。これは、会議のメモ、会議の要約、コンプライアンスのユースケースに便利です。

私たちは、あなたが始めるのに役立つ機能やサンプルコードと一緒に様々なユースケースを集めました。また関連リソースをご覧いただくか、こちらの表をご覧ください。

私は...	機能名	コードリファレンス（ドキュメント、サンプル、ハウツー）
スピーチからテキストへ
テープ起こしで会議を録音する	ポストコール・テープ起こし	ドキュメンテーション, サンプルアプリ, ウェビナー
ミーティングの概要	ポストコール・テープ起こし（サマリー付き	ドキュメンテーション, サンプルアプリ
会議にキャプションを追加する	ライブ・キャプション	ドキュメンテーション, サンプルアプリ, ウェビナー
リアルタイムでメモを取る	ライブ・キャプション	ドキュメンテーション
ユーザーを別の言語に翻訳する（テキスト）	オーディオ・コネクター	ブログ記事
適度なユーザー・オーディオ	シグナリング、パブリッシャーミュート	ブログ記事
基本的なメディア処理
ビデオの背景をぼかす (Web)	背景ぼかし	背景ぼかし/置き換え, サンプルアプリ
ビデオの背景をぼかす（ネイティブ）	メディアプロセッサAPI	ドキュメンテーション
ビデオの背景を置き換える（ウェブ）	背景交換	背景ぼかし/置き換え
ビデオの背景を置き換える（ネイティブ）	メディアプロセッサAPI	ドキュメンテーション
ストリームに透かしを追加する	メディアプロセッサAPI	透かしとQRコード
QRコードの追加	メディアプロセッサAPI	透かしとQRコード
バックグラウンド・ノイズの除去	ノイズ抑制	ノイズ抑制
エフェクトでオーディオを変調	メディアプロセッサAPI
コンピュータビジョン
誰かが手を挙げたときに気づく	メディアプロセッサAPI	ブログ記事
画面外を見ている人を検出する	メディアプロセッサAPI	ブログ記事
フレーム内のオブジェクトを見る	メディアプロセッサAPI	画像解析
ボットとエージェントAI
発信者の感情をリアルタイムで把握する	オーディオ・コネクター	センチメント分析
従来のチャットボット	オーディオ・コネクター
ユーザーの発話を別の言語に自動翻訳	オーディオ・コネクター
AIパイプラインの構築（STT→LLM/AIエージェント→TTS）	オーディオ・コネクター	サンプルアプリ
音声合成AIエージェント処理	オーディオ・コネクター
ビデオセッションにAI音声アナウンスを流す	オーディオ・コネクター