ライブ・キャプション

を使用する。 ライブキャプションAPI セッションに接続されたパブリッシャーと購読者のリアルタイムの音声キャプションを可能にする。

ライブキャプションは、セッションレベルで REST API.

ライブキャプションは、以下の場合にのみサポートされます。 ルーティングセッション.

Publishing live captions

<OTPublisher
  style={{width: 400, height: 300}}
  properties={{
    publishCaptions: true,
    // ... other properties
  }}
/>

この設定は false デフォルトで

このプロパティを（Reactの状態変化に基づいて）動的に変更すると、公開ストリームのキャプションのオン/オフを切り替えることができます。

Subscribing to live captions

<OTSubscriber
  style={{width: 200, height: 200}}
  properties={{
    subscribeToCaptions: true,
    // ... other properties
  }}
  eventHandlers={{
    captionReceived: event => {
      console.log('Caption received:', event.text);
      console.log('Caption final:', event.isFinal);
    },
  }}
/>

を設定することができます。 subscribeToCaptions プロパティ true ストリームを公開しているクライアントが現在ライブキャプションを公開して いるかどうかに関係なく。サブスクライバは、パブリッシャがキャプションを公開し始めると、キャプションデータの受信を開始する。

購読者は、以下の方法でキャプションを受け取る。 captionReceived イベント・ハンドラ（上図）。

captionReceivedイベントオブジェクトには、次の2つがあります。 properties:

• テキスト - キャプションのテキスト（文字列）
• 最終 - キャプションテキストがフレーズ (trueまたはパーシャル（false）。 React Native SDKは、captionsイベントのテキストを表示しません。独自の UI 要素を作成して、captions イベントに基づいてキャプション・テキストをレンダリングできます。

ライブキャプションの受信

Vonage Web Client SDKは、パブリッシャーが自身のキャプションのイベントを受信することをサポートしていません。ローカルクライアントによって公開されたストリームのキャプションをレンダリングするには、キャプションイベントをリッスンするために、(ローカルパブリッシャーのストリームに対する) 非表示のサブスクライバーを作成します。の subscribeToSelf プロパティを設定します。 OTSubscriber への true.この加入者のビデオをレンダリングしてはならない（そのビデオを width そして height を 0 に設定します)、オーディオを購読すべきではありません。 subscribeToAudio をfalseに)。

他のストリームのキャプションと同じように、UIにキャプションを追加することができます。参照 購読者のカスタムレンダリング.

Enabling live captions

パブリッシャーはオプションの boolean publishCaptions パラメータで渡されます。パラメータは properties オブジェクトを返します。このパラメータはデフォルトではfalseである。

const publisher = OT.initPublisher({ publishCaptions: true });

Toggling live captions for a publisher dynamically

ライブキャプションが有効になった後、パブリッシャーは publishCaptions メソッドを呼び出します。このメソッドはパラメータとしてブール値を受け取ります。

以下のコードは、パブリッシャーのライブキャプションを停止する例です。

publisher.publishCaptions(false);

以下のコードは、パブリッシャーに対してライブキャプションを開始する例を示しています。

publisher.publishCaptions(true);

Subscribing to live captions

加入者は、ライブ・キャプションの受信を開始するか停止するかを選択できる。

Subscriber subscribeToCaptions Method

サブスクライバーは、非同期の subscribeToCaptions メソッドを呼び出します。このメソッドはパラメータとしてブール値を受け取ります。

このメソッドは、パブリッシャーが現在ライブキャプションを公開しているか否かに関わらず 呼び出すことができます。サブスクライバーは、パブリッシャーがキャプションを公開し始めると、 キャプションデータの受信を開始します。

以下のコードは、購読者のためにライブ・キャプションを開始する例を示しています。

try {
    await subscriber.subscribeToCaptions(true);
} catch (err) {
    console.warn(err);
}

以下のコードは、購読者のライブ・キャプションを停止する例を示しています。

try {
    await subscriber.subscribeToCaptions(false);
} catch (err) {
    console.warn(err);
}

Enabling live captions for a subscriber

サブスクライバーは、パブリッシャーのライブキャプションをアクティブに購読しているかどうかを、次の方法で確認できます。 isSubscribedToCaptions メソッドを呼び出します。このメソッドにはパラメータはなく、真偽値を返します。

const isSubscribed = subscriber.isSubscribedToCaptions()
console.log(`${isSubscribed} states whether or not a given subscriber is subscribing to live captions`).

Receiving live captions

購読者はイベント経由でキャプションを受け取ります。SDKはキャプションイベントのテキストを表示しません。

Subscriber captionReceived Event

ライブ・キャプションを積極的に購読している購読者は、次のような配信を行います。 captionReceived イベントその captionReceived イベント・オブジェクトには3つのプロパティがある： caption, streamIdそして isFinal. streamId はストリームのIDである。 caption は転写されたテキストである。 isFinal は、キャプションの転記が終了したかどうかを示します。この値は、部分的なキャプションを使用する場合にのみ関連します。開発者は、キャプションのテキストをどこでどのようにレンダリングするかを選択できます。

subscriber.on('captionReceived', function(event){
    console.log(`Caption received for stream ${event.streamId}`);
    console.log(`Caption text: ${event.caption}`);
    console.log(`Final text: ${event.isFinal}`);
})

以下は、部分的なキャプションを使い、パブリッシャーに "This is my sentence" と言わせたときのコンソールログです。

subscriber.on('captionReceived', function(event){
    console.log(`The ${event.isFinal ? 'complete' : 'partial'} caption text is: "${event.caption}"`)
})
// The partial caption text is: "This"
// The partial caption text is: "This is"
// The partial caption text is: "This is my" 
// The complete caption text is: "This is my sentence"

Receiving your own live captions

Vonage Web Client SDKは、パブリッシャーが自身のキャプションのイベントを受信することをサポートしていません。スピーカー自身のキャプションをレンダリングするには、キャプションイベントを listen するために、(ローカルパブリッシャーのストリームに) 非表示のサブスクライバーを作成します。このサブスクライバは、エコーを避けるために、DOM にアタッチされるべきではありませんし、オーディオをサブスクライブすべきではありません。そうすれば、UI にキャプションを追加することができます。

以下は、パブリッシャーが独自のキャプションを受け取るために、非表示のサブスクライバーを 作成する例です。

const captionOnlySub = session.subscribe(
    publisher.stream,
    document.createElement('div'),
    {
    audioVolume: 0,
    testNetwork: true, // This option is only needed in OpenTok.js versions below 2.25.1
    },
);

captionOnlySub.on('captionReceived', (event) => {
    // Do something with the event.caption
});

注： OpenTok.js 2.25.0以前のバージョンでは、次のように設定する必要があります。 testNetwork への true に渡されるオプションの Session.subscribe()バグのため。

Sample

について Vonageウェブサンプル Basic-Captionsサンプル は、Vonage Web Client SDKで構築されたWebアプリでライブキャプションを使用しています。

Publishing live captions

パブリッシャーは、リアルタイムのライブキャプションの公開を開始または停止するには setPublishCaptions() PublisherKitオブジェクトの

publisher.setPublishCaptions(true);

出版社がオーディオトラックを収録していない場合は PublisherKit.PublisherListener.onError() メソッドがエラーで呼び出された場合 code プロパティを PublisherMissingAudioTrack).

Android SDKはパブリッシャーが自身のキャプションのイベントを受け取ることをサポートしていません。スピーカー自身のキャプションをレンダリングするには、（パブリッシャーのストリームに）非表示のサブスクライバーを作成し、キャプションイベントをリッスンします。(次のセクションを参照してください）。

Subscribing to live captions

加入者は、次のコマンドを呼び出すことで、キャプションの受信を開始または停止できる。 subscribeToCaptions() メソッド メソッドを呼び出します：

subscriber.setSubscribeToCaptions(true);

このメソッドは、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく呼び出すことができます。 このメソッドを呼び出すことができます。サブスクライバは、パブリッシャがキャプションの発行を開始すると、 キャプションデータの受信を開始します。 サブスクライバーはキャプションデータの受信を開始します。

キャプションの受信を停止するには false をメソッドに組み込む：

subscriber.setSubscribeToCaptions(false);

購読者は、ストリームのライブ・キャプションをアクティブに購読しているかどうかを isSubscribedToCaptions() メソッドを使用する：

boolean isSubscribed = subscriber.getSubscribeToCaptions();

購読者はイベント経由でキャプションを受け取ります。SDKはキャプションのテキストをUIに表示しません。 UIには表示されません。その場合は SubscriberKit.CaptionsListener インターフェイスを使用して、キャプション・イベントのリスナーを設定します：

SubscriberKit.CaptionsListener captionsListener = new SubscriberKit.CaptionsListener() {
    @Override
    public void onCaptionText(SubscriberKit subscriber, String text, boolean isFinal) {
        // Display the text in the UI.
    }
}

について hasCaptions() メソッドは、ストリームにキャプションがあるかどうかを報告します：

boolean hasCaptions = stream.hasCaptions();

を実施する。 onStreamHasCaptionsChanged() のメソッドを使用する。 Session.StreamPropertiesListener インターフェイスを使用して、ストリームでキャプションが有効になっているときと無効になっているときを監視します：

Session.StreamPropertiesListener captioningListener = new Session.StreamPropertiesListener() {
    @Override
    public void onStreamHasCaptionsChanged(Session session, Stream stream, boolean hasCaptions) {
        // Adjust UI to indicate that captions are or are not available.
    }
}

Publishing live captions

パブリッシャーは、リアルタイムのライブキャプションの公開を開始したり停止したりできます。 publishCaptions プロパティを使用します：

publisher.publishCaptions = true

出版社がオーディオトラックを収録していない場合は [PublisherKit publisher:didFailWithError:] メッセージが送信される。 code プロパティを OTPublisherMissingAudioTrack.

Vonage iOS SDKは、パブリッシャーが自身のキャプションのイベントを受信することをサポートしていません。スピーカー自身のキャプションをレンダリングするには、(パブリッシャーのストリームに) キャプションイベントをリッスンする隠しサブスクライバーを作成します。(次のセクションを参照してください）。

Subscribing to live captions

購読者は、次のように設定することで、キャプションの受信を開始または停止することができます。 subscribeToCaptions プロパティ プロパティを使用します：

subscriber.subscribeToCaptions = true

このメソッドは、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく呼び出すことができます。 このメソッドを呼び出すことができます。サブスクライバは、パブリッシャがキャプションの発行を開始すると、 キャプションデータの受信を開始します。 サブスクライバーはキャプションデータの受信を開始します。

キャプションの受信を停止するには、プロパティを false:

subscriber.setSubscribeToCaptions = false

について OTSubscriberKitCaptionsDelegate(_:subscriber:caption:isFinal:) メッセージは メッセージが送信される：

// OTSubscriberKitDelegate callbacks:
func subscriber(_ subscriber: OTSubscriberKit, caption text: NSString, isFinal final: Bool) {
  // Display caption text in UI.
}

のキー・バリュー・オブザーバーを設定することができます。 hasCaptions OTStreamオブジェクトのプロパティ プロパティを使用すると、ストリームでキャプションが有効になっているときと無効になっているときを確認できます。

//add observer on a stream of interest
let hasCaptionsObservation: NSKeyValueObservation = subscriber.stream.observe(\.hasCaptions, options: [.old, .new]) { object, change in
	guard let oldValue = change.oldValue else { return }
	guard let newValue = change.newValue else { return }
	print("KVO change for \(subscriber.stream.streamId) hasCaptions: \(newValue)")
	//manipulate GUI element
}

Publishing live captions

パブリッシャーは、リアルタイムのライブキャプションの公開を開始したり停止したりできます。 publishCaptions プロパティを使用します：

publisher.publishCaptions = YES;

出版社がオーディオトラックを収録していない場合は [PublisherKit publisher:didFailWithError:] メッセージが送信される。 code プロパティを OTPublisherMissingAudioTrack.

Vonage iOS SDKは、パブリッシャーが自身のキャプションのイベントを受信することをサポートしていません。スピーカー自身のキャプションをレンダリングするには、(パブリッシャーのストリームに) キャプションイベントをリッスンする隠しサブスクライバーを作成します。(次のセクションを参照してください）。

Subscribing to live captions

購読者は、次のように設定することで、キャプションの受信を開始または停止することができます。 subscribeToCaptions プロパティ プロパティを使用します：

subscriber.subscribeToCaptions = YES;

このメソッドは、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく呼び出すことができます。 このメソッドを呼び出すことができます。サブスクライバは、パブリッシャがキャプションの発行を開始すると、 キャプションデータの受信を開始します。 サブスクライバーはキャプションデータの受信を開始します。

キャプションの受信を停止するには、プロパティを NO:

subscriber.setSubscribeToCaptions = NO;

について [OTSubscriberKitCaptionsDelegate subscriber:caption:isFinal:] メッセージは メッセージが送信される：

// OTSubscriber delegate callbacks:
-(void) subscriber:(OTSubscriberKit *)subscriber caption:(NSString *)text isFinal:(BOOL)final {
    // Display caption text in UI.
}

のキー・バリュー・オブザーバーを設定することができます。 hasCaptions OTStreamの プロパティを使用すると、ストリームでキャプションが有効になっているときと無効になっているときを確認できます：

//add observer on a stream of interest
[_subscriber.stream addObserver:self forKeyPath:@"hasCaptions" options:NSKeyValueObservingOptionNew context:NULL];
    
- (void)observeValueForKeyPath:(NSString *)keyPath
                      ofObject:(id)object
                        change:(NSDictionary *)change
                       context:(void *)context {
    NSLog(@"KVO change for %@ = %@",keyPath, change); 
    //manipulate GUI element
}

Publishing live captions

パブリッシャーは、リアルタイムのライブキャプションの公開を開始したり停止したりできます。 PublishCaptions プロパティを使用します：

publisher.PublishCaptions = true;

出版社がオーディオトラックを収録していない場合は PublisherKit.Error イベントがディスパッチされる、 で ErrorCode ErrorEventArgsオブジェクトのプロパティを PublisherMissingAudioTrack.

Vonage Windows SDKはパブリッシャーが自身のキャプションのイベントを受け取ることをサポートしていません。スピーカー自身のキャプションをレンダリングするには、(パブリッシャーのストリームに) キャプションイベントをリッスンする隠しサブスクライバーを作成します。(次のセクションを参照)。

Subscribing to live captions

購読者は、次のように設定することで、キャプションの受信を開始または停止することができます。 SubscribeToCaptions プロパティ プロパティを使用する：

subscriber.SubscribeToCaptions = true;

このプロパティは、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく設定できます。 に関係なく設定できます。サブスクライバは、パブリッシャがキャプションの公開を開始すると、キャプションデータの受信を開始します。 キャプションデータの受信を開始します。

キャプションの受信を停止するには、プロパティを false:

subscriber.SubscribeToCaptions = false;

購読者はイベント経由でキャプションを受け取ります。SDKはキャプションのテキストをUIに表示しません。 UIには表示されません。のイベントリスナーを追加します。 Subscriber.CaptionText イベントを開催する：

subscriber.CaptionText += (object sender, Subscriber.CaptionTextArgs e) =>
{
	// Display the text in the UI.
};

について HasCaptions プロパティは、ストリームにキャプションがあるかどうかを報告します：

stream.HasCaptions;

について Session.StreamHasCaptionsChanged イベントは、ストリームでキャプションが有効または無効になったときにディスパッチされます：

session.StreamHasCaptionsChanged += (object sender, StreamEventArgs e) =>
{
	// Adjust UI to indicate that captions are or are not available.
};

Publishing live captions

パブリッシャーは、リアルタイムのライブキャプションの公開を開始または停止するには otc_publisher_set_publish_captions() 関数である：

otc_publisher_set_publish_captions(publisher, OTC_FALSE);

出版社がオーディオトラックを収録していない場合は otc_publisher_callbacks.on_error() コールバック 関数がエラーとともに呼び出され、エラーコードが OTC_PUBLISHER_MISSING_AUDIO_TRACK.

Vonage macOS SDKは、パブリッシャーが自身のキャプションのイベントを受信することをサポートしていません。スピーカー自身のキャプションをレンダリングするには、(パブリッシャーのストリームに) キャプションイベントをリッスンする隠しサブスクライバーを作成します。(次のセクションを参照)。

Subscribing to live captions

加入者は、次のコマンドを呼び出すことで、キャプションの受信を開始または停止できる。 otc_subscriber_set_subscribe_to_captions() 関数である：

otc_subscriber_set_subscribe_to_captions(subscriber, OTC_TRUE);

この関数は、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく呼び出すことができます。 この関数を呼び出すことができます。サブスクライバは、パブリッシャがキャプションを公開し始めると、 キャプションデータの受信を開始します。 サブスクライバーはキャプションデータの受信を開始します。

キャプションの受信を停止するには OTC_FALSE を関数に追加する：

otc_subscriber_set_subscribe_to_captions(subscriber, OTC_FALSE);

購読者は、ストリームのライブ・キャプションをアクティブに購読しているかどうかを otc_subscriber_get_subscribe_to_captions() 関数である：

otc_bool isSubscribed = otc_subscriber_get_subscribe_to_captions(subscriber);

購読者はイベント経由でキャプションを受け取ります。SDKはキャプションのテキストをUIに表示しません。 UIには表示されません。UIに on_caption_text() のメンバー関数である。 otc_subscriber_callbacks インスタンス のインスタンスを作成し、キャプション・イベントのリスナーを設定します：

static void on_caption_text(otc_subscriber *subscriber,
                                      void *user_data,
                                      const char* text) {
    // Display the text in the UI.
}

subscriber_callbacks.on_caption_text = on_caption_text;

について otc_stream_has_captions() 関数は、ストリームにキャプションがあるかどうかを報告する：

otc_bool hasCaptions = otc_stream_has_captions(stream);

を実施する。 on_stream_has_captions_changed() のメンバー関数である。 otc_session_callbacks インスタンスを使用して、ストリームでキャプションが有効になっているときと無効になっているときを監視します：

static void on_stream_has_captions_changed(otc_session* session,
                                                   void *user_data,
                                             otc_stream *stream,
                                                  otc_bool has_captions) {
  // Adjust UI to indicate that captions are or are not available.
}

session_callbacks.on_stream_has_captions_changed = on_stream_has_captions_changed;

Publishing live captions

パブリッシャーはリアルタイムのライブキャプションの公開を開始したり停止したりできます。 otc_publisher_set_publish_captions() 関数である：

otc_publisher_set_publish_captions(publisher, OTC_FALSE);

出版社がオーディオトラックを収録していない場合は otc_publisher_callbacks.on_error() コールバック 関数がエラーとともに呼び出され、エラーコードが OTC_PUBLISHER_MISSING_AUDIO_TRACK.

Vonage Linus SDKはパブリッシャーが自身のキャプションのイベントを受け取ることをサポートしていません。スピーカー自身のキャプションをレンダリングするには、(パブリッシャーのストリームに) キャプションイベントをリッスンする隠しサブスクライバーを作成します。(次のセクションを参照)。

Subscribing to live captions

加入者は、次のコマンドを呼び出すことで、キャプションの受信を開始または停止できる。 otc_subscriber_set_subscribe_to_captions() 関数である：

otc_subscriber_set_subscribe_to_captions(subscriber, OTC_TRUE);

この関数は、ストリームのパブリッシャーが現在ライブキャプションを公開しているかどうかに関係なく呼び出すことができます。 この関数を呼び出すことができます。サブスクライバは、パブリッシャがキャプションを公開し始めると、 キャプションデータの受信を開始します。 サブスクライバーはキャプションデータの受信を開始します。

キャプションの受信を停止するには OTC_FALSE を関数に追加する：

otc_subscriber_set_subscribe_to_captions(subscriber, OTC_FALSE);

購読者は、ストリームのライブ・キャプションをアクティブに購読しているかどうかを otc_subscriber_get_subscribe_to_captions() 関数である：

otc_bool isSubscribed = otc_subscriber_get_subscribe_to_captions(subscriber);

購読者はイベント経由でキャプションを受け取ります。SDKはキャプションのテキストをUIに表示しません。 UIには表示されません。UIに on_caption_text() のメンバー関数である。 otc_subscriber_callbacks インスタンス のインスタンスを作成し、キャプション・イベントのリスナーを設定します：

static void on_caption_text(otc_subscriber *subscriber,
                                      void *user_data,
                                      const char* text) {
    // Display the text in the UI.
}

subscriber_callbacks.on_caption_text = on_caption_text;

について otc_stream_has_captions() 関数は、ストリームにキャプションがあるかどうかを報告する：

otc_bool hasCaptions = otc_stream_has_captions(stream);

を実施する。 on_stream_has_captions_changed() のメンバー関数である。 otc_session_callbacks インスタンスを使用して、ストリームでキャプションが有効になっているときと無効になっているときを監視します：

static void on_stream_has_captions_changed(otc_session* session,
                                                   void *user_data,
                                             otc_stream *stream,
                                                  otc_bool has_captions) {
  // Adjust UI to indicate that captions are or are not available.
}

session_callbacks.on_stream_has_captions_changed = on_stream_has_captions_changed;