メディア・プロセッサー（スウィフト）

Vonage Media Processor ライブラリにあらかじめ用意されているトランスフォーマを使用するか、または公開されているビデオに適用する独自のカスタムオーディオトランスフォーマを作成することができます。を作成することもできます。

を使用することができます。 OTPublisherKit.audioTransformers そして OTPublisherKit.videoTransformers プロパティを使用して、ストリームにオーディオとビデオのトランスフォームを適用します。

重要だ： メディア変換はすべてのデバイスでサポートされているわけではありません。見る顧客要求.

Vonage Video iOS SDKには、トランスフォーマーを実装する2つの方法があります：

中程度 - ビデオの場合は、以下のビデオトランスフォーマーに含まれる背景ぼかしと背景置換を適用できます。ボネージ・メディア・ライブラリー.参照 Vonageメディアライブラリからビデオトランスを適用する.オーディオの場合は、オーディオ・トランスに含まれるノイズ・サプレッション・オーディオ・トランスを適用することができます。ボネージ・メディア・ライブラリー.参照 Vonageメディアライブラリからオーディオトランスを適用する.
上級 - 自分で作ることができるカスタム・ビデオ・トランスそしてカスタムオーディオトランス.

お客様のご要望

Vonage Media Libraryの変圧器は、Apple A11 Bionicチップセット以上、以下のデバイスとオペレーティングシステムの組み合わせでサポートされています：

装置	対応OS
iPhone 11以上	iOS 13以上
iPad Air 4以上	iPadOS 14.1以上
iPad mini第5世代以上	iPadOS 14以上
iPad Pro 第5世代以上	iPadOS 14.5以上
iPhone SE 第2世代以上	iOS 13.4以上

他のデバイスでテストし、サポートを確認する。

トランスフォーマーには十分なプロセッサーのサポートが必要です。サポートされているデバイスであっても、バックグラウンドプロセスによって利用可能な処理リソースが制限される場合、トランスフォーマーが安定しないことがあります。Vonage Media Libraryからのトランスフォーマーだけでなく、カスタムメディアトランスフォーマーにも同様の制限が適用される場合があります。

iOSは、（バッテリーの寿命を延ばすなど）エネルギーを節約するために、CPUのパフォーマンスを絞ることがあります。その結果、トランスフォーマーのパフォーマンスが最適化されず、不要なオーディオやビデオのアーチファクトが発生することがあります。このような場合は、低電力モードを無効にすることをお勧めします。

多くの動画変換（背景ぼかしなど）は、セグメンテーションを使用して、背景から話者を分離します。最良の結果を得るには、適切な照明と無地の背景を使用してください。照明が不十分であったり、背景が複雑であったりすると、映像にアーチファクトが発生することがあります（たとえば、話し手や話し手がかぶっている帽子が背景と一緒にぼやけてしまうことがあります）。

変換に関係なく、できるだけ多くのサポート対象デバイスでベンチマークテストを実施する必要があります。

Vonage Media Libraryの統合

Vonage Media LibraryをSDKに統合するとサイズが大幅に増加するため、OpenTok SDK v2.27.4から、メディアトランスフォーマはオプトインのVonage Media library経由で利用できるようになりました。このライブラリは明示的にプロジェクトに追加する必要があります。

Vonage Media Libraryは当初OpenTok SDKに組み込まれていました。OpenTok SDKのバージョンが2.27.4より古い場合は、直接次のページに移動してください。 Vonageメディアライブラリからビデオトランスを適用するそして Vonageメディアライブラリからオーディオトランスを適用する.

Vonageメディアライブラリは、SwiftパッケージマネージャまたはCocoaPodsのいずれかを使用して統合することができます：

スイフト・パッケージ・マネージャー

VonageClientSDK Video Transformers を追加するには、次のようにします。 Vonage Client SDK ビデオトランスフォーマーリポジトリを Swift パッケージの依存関係として使用します。

パッケージの依存関係を Xcode プロジェクトに追加するには ファイル > スイフト・パッケージ > 依存パッケージの追加 をクリックし、リポジトリのURLを入力する。

ココアポッド

Vonageメディアライブラリは、ポッド "VonageClientSDKVideoTransformers "として利用可能です。で使用できます。ココアポッズ.

ℹ️ もし [OTVideoTransformer initWithName:properties:] または [OTAudioTransformer initWithName:properties:] がライブラリをロードせずに作成された場合、返されるトランスフォーマーは NULL になります。次のエラーコードで例外が発生します。 0x0A000006 - OTC_MEDIA_TRANSFORMER_OPENTOK_TRANSFORMERS_LIBRARY_NOT_LOADED.

Vonageメディアライブラリからビデオトランスを適用する

を使用する。 [OTVideoTransformer initWithName:properties:] メソッドを使用して、Vonage Media Library の名前付きトランスフォームを使用するビデオトランスフォームを作成します。

変圧器は2台対応：

背景をぼかす。 このフィルターでは name パラメータを "BackgroundBlur". を設定する。 properties パラメータをJSON文字列に変換する。JSONのフォーマットは"{"radius": "None"}"である。パラメータ radius プロパティは "None"、"High"、"Low "である。もし radius プロパティを "Custom "にして custom_radius プロパティを JSON 文字列に追加する："{"radius": "カスタム", "custom_radius": "値"}"(ここで custom_radius は正の整数ぼかし半径を定義する正の整数)。
widgets.copy
```
var backgroundBlur = new OTVideoTransformer()
backgroundBlur.init(name: "BackgroundBlur", properties:"{\"radius\":\"High\"}")
var myVideoTransformers = [backgroundBlur]
publisher.videoTransformers = myVideoTransformers
```
バックグランドの交換 このフィルターでは name パラメータを "BackgroundReplacement". を設定する。 properties パラメータをJSON文字列に変換する。JSONのフォーマットは"{"image_file_path": "path/to/image"}"である。 image_file_path は、仮想背景として使用するローカル画像の絶対ファイルパスです。サポートされている画像形式はPNGとJPEGです。
widgets.copy
```
var backgroundReplacement = new OTVideoTransformer()
backgroundReplacement.init(name: "BackgroundReplacement", properties:"{\"image_file_path\":\"path-to-image\"}")
var myVideoTransformers = [backgroundReplacement]
publisher.videoTransformers = myVideoTransformers
```

Vonageメディアライブラリからオーディオトランスを適用する

を使用する。 [OTAudioTransformer initWithName:properties:] メソッドを使用して、Vonage Media Library の名前付きトランスフォームを使用するビデオトランスフォームを作成します。

変圧器は1台対応：

ノイズ抑制。 このフィルターでは name パラメータを "NoiseSuppression".を設定する。 properties パラメータに、トランスフォーマーのプロパティを定義する JSON 文字列を渡します。ノイズ抑制トランスフォーマの場合、この JSON には今のところプロパティは含まれていません。空の文字列に設定します。 "".
widgets.copy
```
var noiseSuppression = new OTAudioTransformer()
noiseSuppression.init(name: "NoiseSuppression", properties:"")
var myAudioTransformers = [noiseSuppression]
publisher.audioTransformers = myAudioTransformers
```

カスタムビデオトランスフォーマーの作成

を実装したクラスを作成する。 OTCustomVideoTransformer プロトコルを実装する。 OTCustomVideoTransformer.transform() メソッドに変換を加える。 OTVideoFrame オブジェクトが渡される。メソッドに渡された OTCustomVideoTransformer.transform() メソッドはビデオフレームごとにトリガーされる。

次に OTPublisherKit.videoTransformers を実装するオブジェクトを含む配列に変換します。を実装するオブジェクトを含む配列。

Vonage Media ライブラリトランスフォーマー (前のセクションを参照) とカスタムトランスフォーマーを組み合わせたり、複数のカスタムトランスフォーマーを適用したりできます。に使用する配列に複数の OTPublisherKit.VideoTransformer オブジェクトを追加することで、複数のカスタムトランスフォーマを適用できます。に使用する配列に複数の OTPublisherKit.VideoTransformer オブジェクトを追加します。 OTPublisherKit.videoTransformers 財産である。

カスタムオーディオトランスの作成

を実装したクラスを作成する。 OTCustomAudioTransformer プロトコルを実装する。 OTCustomAudioTransformer.transform() メソッドに変換を加える。 OTAudioData オブジェクトが渡される。メソッドに渡された OTCustomAudioTransformer.transform() メソッドは各オーディオフレームに対してトリガーされる。

次に OTPublisherKit.audioTransformers を実装するオブジェクトを含む配列に変換します。を実装するオブジェクトを含む配列に変換します：

に使用する配列に複数のPublisherKit.AudioTransformerオブジェクトを追加することで、複数のカスタムトランスを適用できます。オブジェクトを OTPublisherKit.audioTransformers 財産である。

パブリッシャーのためのビデオトランスのクリア

パブリッシャーのビデオトランスをクリアするには OTPublisherKit.videoTransformers プロパティを空の配列に置き換える。

publisher.videoTransformers = [];

某出版社のオーディオ・トランスの片付け

パブリッシャーのオーディオトランスをクリアするには OTPublisherKit.audioTransformers プロパティを空の配列に置き換える。

publisher.audioTransformers = [];

サンプルアプリ

参照このサンプルにて。 vonage-video-ios-sdk-samples GitHubのレポにある。

ナビゲーション