Live-Untertitel — Vonage Video iOS SDK (Swift)

Das OpenTok-iOS-Client-SDK enthält Methoden, mit denen iOS-Clients in einer OpenTok-Sitzung Untertitel senden und empfangen können.

Die Live-Untertitelung muss auf Sitzungsebene über die REST-API.

Live-Untertitelung wird nur unterstützt in weitergeleitete Sitzungen.

Dieses Thema umfasst die folgenden Abschnitte:

Veröffentlichung von Live-Beschriftungen

Ein OpenTok-Publisher kann die Veröffentlichung von Echtzeit-Live-Untertiteln starten oder beenden, indem er die publishCaptions Eigenschaft des OTPublisherKit-Objekts:

publisher.publishCaptions = true

Wenn der Verlag keine Tonspur anbietet, wird die [PublisherKit publisher:didFailWithError:] Nachricht gesendet wird, mit der code Eigenschaft des Fehlers, die auf OTPublisherMissingAudioTrack.

Das Vonage iOS SDK unterstützt nicht, dass ein Herausgeber Ereignisse für seine eigenen Untertitel empfängt. Um die eigenen Beschriftungen des Sprechers wiederzugeben, erstellen Sie einen versteckten Abonnenten (für den Stream des Herausgebers), der auf die Beschriftungsereignisse hört. (Siehe den nächsten Abschnitt.)

Abonnieren von Live-Untertiteln

Ein Teilnehmer kann den Empfang von Untertiteln starten oder stoppen, indem er die Option subscribeToCaptions Eigenschaft des OTSubscriberKit-Objekts:

subscriber.subscribeToCaptions = true

Sie können diese Methode unabhängig davon aufrufen, ob der Herausgeber des Streams gerade Live-Untertitel veröffentlicht. Der Abonnent beginnt mit dem Empfang von Untertiteldaten, sobald der Herausgeber mit der Untertitel zu veröffentlichen.

Um keine Untertitel mehr zu erhalten, setzen Sie die Eigenschaft auf false:

subscriber.setSubscribeToCaptions = false

Die OTSubscriberKitCaptionsDelegate(_:subscriber:caption:isFinal:) Nachricht wird gesendet, wenn ein Abonnent eines Streams Untertitel empfängt:

// OTSubscriberKitDelegate callbacks:
func subscriber(_ subscriber: OTSubscriberKit, caption text: NSString, isFinal final: Bool) {
  // Display caption text in UI.
}

Sie können einen Schlüssel-Wert-Beobachter für die hasCaptions Eigenschaft eines OTStream-Objekts um zu sehen, wann der Stream Untertitel aktiviert und deaktiviert hat.

//add observer on a stream of interest
let hasCaptionsObservation: NSKeyValueObservation = subscriber.stream.observe(\.hasCaptions, options: [.old, .new]) { object, change in
	guard let oldValue = change.oldValue else { return }
	guard let newValue = change.newValue else { return }
	print("KVO change for \(subscriber.stream.streamId) hasCaptions: \(newValue)")
	//manipulate GUI element
}

Eigene Live-Titel empfangen

Die Vonage Video API unterstützt es nicht, dass ein Publisher Ereignisse für seine eigenen Untertitel empfängt. Um die eigenen Untertitel des Sprechers darzustellen, erstellen Sie einen versteckten Subscriber (für den Stream des lokalen Publishers), der auf Untertitelereignisse wartet. Zeigen Sie die Ansicht dieses Abonnenten nicht in der Benutzeroberfläche an und abonnieren Sie dessen Audio nicht (um ein Echo zu vermeiden). Anschließend können Sie den Untertiteltext in die Benutzeroberfläche einfügen.

Der Publisher veröffentlicht standardmäßig keine Bildunterschriften. Legen Sie daher die publishCaptions Eigentum des Verlags an true:

    publisher = OTPublisher(delegate: self, settings: pubSettings!)
    publisher?.publishCaptions = true

Den Stream abonnieren unter OTPublisherKitDelegate(publisher, streamCreated) Methode:

func publisher(_ publisher: OTPublisherKit, streamCreated stream: OTStream) {
	// Add view
	let pubView = self.publisher?.view
	if(pubView != nil) // audio only publisher
	{
		ViewUtils.addViewFill(pubView!, rootView: self.publisherView!)
	}

	let subscriber = OTSubscriber(stream: stream, delegate: self)
	subscriber.subscribeToAudio = false
	subscriber.subscribeToVideo = true // typically should be false, but due to an existing bug in 2.25.3, it is set to true. Future versions will fix the issue.
	subscriber.subscribeToCaptions = true
	subscriber.captionsDelegate = self

	do {
		try self.session?.subscribe(subscriber)
	} catch let error {
		print("Error subscribing: \(error)")
	}

	selfPublisherStreamId = stream?.streamId
}

Wie oben bereits erwähnt, müssen Sie das Video abonnieren, um Untertitel zu erhalten. (Dies wird in einer zukünftigen Version behoben.)

In diesem Beispiel wird die Stream-ID des Publishers in einer selfPublisherStreamId Variable, die hier verwendet wird, um zu verhindern, dass ihre Ansicht zur Benutzeroberfläche hinzugefügt wird:

func subscriberDidConnect(toStream subscriberKit: OTSubscriberKit) {
	if subscriber.stream.streamId == selfPublisherStreamId {
    	return // Don't show the self subscriber view.
	}

	// Show other subscribers in the UI
	if let subsView = subscriber?.view {
		subsView.frame = CGRect(x: 0, y: kWidgetHeight, width: kWidgetWidth, height: kWidgetHeight)
		view.addSubview(subsView)
	}
}

Der Abonnent erhält den transkribierten Text (für Ihren veröffentlichten Stream) in dem folgenden Delegaten:

func onSubscriberCaptionText(_ subscriber: OpaquePointer!, caption_text: String!) {
	// Adjust UI to show captions.
	DispatchQueue.main.async {
		if let s = self.views[subscriber] {
			s.updateCaptionText(caption_text)
		}
	}
}