Nachbearbeitung zusammengestellter Archive

Verwenden Sie das Archivnachbearbeitungstool, um eine Sammlung von Vonage Video API-Archiven zu verarbeiten, z. B. solche, die von der automatischen Archivierungsfunktion erzeugt wurden.

Vonage Video API-Archive sind zeitlich begrenzt. Möglicherweise wird ein Teil einer Sitzung nicht in einem einzigen Archiv aufgezeichnet. Um zu vermeiden, dass ein Teil der Sitzung verloren geht, verwenden Sie die Funktion zur automatischen Archivierung Automatisch archivierenDies ermöglicht die Erstellung mehrerer Dateien für die Aufzeichnung sehr langer Sitzungen. Alternativ können Sie auch die Simultanarchive um eine zweite Aufzeichnung vor dem Ende der vorherigen Aufzeichnung zu starten. In beiden Fällen werden diese Archive mit einer kurzen Überlappung zwischen dem Ende des einen und dem Beginn des nächsten erstellt.

Wenn Sie eine einzelne Videodatei mit der gesamten Sitzung bevorzugen, können Sie unsere Nachbearbeitung zusammengestellter Archive Werkzeug, das Aufnahmen zusammenführt und versucht, den Übergang so fließend wie möglich zu gestalten. Sie können dieses Tool verwenden, um eine einzige, aber längere Datei zu erstellen, die Medien aus mehreren kürzeren Archivdateien enthält. Sie können dieses Tool auch für Videoaufzeichnungen verwenden, die nicht als Vonage Video Archive erstellt wurden, sofern sich einige Medien überschneiden und Codecs konfiguriert sind.

In diesem Leitfaden wird kurz erläutert, wie das Nachbearbeitungstool den Überschneidungszeitraum bestimmt und wie es die Zusammenführung zwischen zwei Archiven vornimmt.

Übersicht

Um lange Aufnahmen zu liefern, erkennt unser Vorschlag überlappende Medieninformationen zwischen zwei aufeinanderfolgenden Archiven, indem er das Videobild und das Audiosample findet, die den Anfang und das Ende der wiederholten Daten darstellen. Das hier vorgestellte Tool verwendet Entscheidungsregeln, um lange Archive zu erzeugen, bei denen diese Redundanz entfernt wurde. Es ist unempfindlich gegen das Vorhandensein von Schwarzbildern, hochredundanten Informationen, hochstatischen Inhalten, Störungen und Audio/Video-Desynchronisationen.

Um den Überschneidungsbereich zu entdecken, muss die Nachbearbeitungslogik des Archivs nur einen kleinen Teil der beiden Dateien analysieren, einige Sekunden vor dem Ende des ersten und dem Beginn des zweiten Archivs.

Die Eingabearchive müssen identische Codec-Eigenschaften haben, andernfalls schlägt das Tool mit einer Fehlermeldung fehl. Außerdem benötigt es die ffmpeg und ffprobe Die Software muss im Pfad des Benutzers installiert sein und mit den hier aufgeführten erforderlichen Audio- und Videoparametern kompiliert worden sein:

  • Zusammengestellte Archiv-Video-Parameter
    • Codec: H264
    • Profil: Eingeschränkte Baseline
    • Pixel-Format: YUV 420p
    • Niveau: 4.1
    • FPS: 25
    • PTS-Zeitskala: 90000
  • Zusammengestellte Archiv-Audio-Parameter
    • Codec: AAC LC
    • Abtastrate: 48Khz
    • Kanäle: 1
  • Container
    • Typ: mp4

Art des Inhalts

Ein Archiv kann nur Audio, Video oder beides enthalten. Was die sich überschneidenden Inhalte angeht, so kann die Videobewegung extrem statisch oder hochdynamisch sein, und das Audiosignal kann starkes Rauschen oder lange Stillephasen aufweisen. Abgesehen davon kann unser Tool auch mit anderen schwierigen Inhalten konfrontiert werden, z. B. wenn ein Herausgeber während der Überlappungszeit die Veröffentlichung einstellt, was dazu führt, dass im endgültigen Archiv einige schwarze Bilder vorhanden sind, oder wenn der Medienfluss während der Aufnahme einen Paketverlust hatte, was zu grünen Decoderstörungen auf der Videoseite oder abgehacktem Audio führt.

Beachten Sie bitte, dass sowohl Audio- als auch Videoüberschneidungsbereiche unabhängig voneinander ausgewertet werden.

Algorithmus

Nur-Audio-Archive

Da das menschliche Gehör Frequenzen logarithmisch wahrnimmt, bewertet unser Audioalgorithmus logarithmisch den Frequenzgehalt des Endes und des Anfangs des ersten bzw. des zweiten Audiosignals, die sich im Laufe der Zeit ändern.

Nach der Zeit-Frequenz-Transformation wird ein gleitendes Fenster mit fester Größe verwendet, um die verarbeiteten Signale zu partitionieren und ihre einzelnen Korrelationen iterativ zu berechnen.

Wir bieten zwei verschiedene Lösungen an, je nach der Anzahl der Iterationen, die während der Berechnung des Schiebefensters des Algorithmus durchgeführt werden:

  • Tiefgreifende Suche: Diese Option kann ausgeführt werden, wenn dem laufenden Befehl -s oder --deep-search hinzugefügt wird.
  • Teilweise Suche: Standard-Algorithmus.

Nur-Video-Archive

Für die Analyse der sich überschneidenden Videobilder wurden mehrere Metriken implementiert. Jeder von ihnen basiert auf der Idee, dass der Mindestwert, den diese Algorithmen liefern, die Ähnlichkeit zwischen den Frames der beiden Videos erhöht. Ähnlich wie beim Audio schiebt der Nachbearbeitungscode den zweiten Videoabschnitt, der der vom Benutzer als Bewertungszeitraum angegebenen ersten Anzahl von Sekunden entspricht, Bild für Bild über das entsprechende Bild der gleichen Anzahl von Sekunden am Ende des ersten Videos.

Der Code bietet die Möglichkeit, die Ergebnisse grafisch darzustellen. In diesem Fall zeigt das Diagramm einen grünen Bereich, der die Frames mit der höchsten Ähnlichkeitsbeziehung zwischen dem ersten und dem zweiten Archiv darstellt, in denen die Überschneidung stattfindet. Zusätzlich wird eine 45-Grad-Linie in Blau markiert, die die Reihenfolge der ähnlichsten Frames anzeigt. Diese Korrelation wird später in Zeitdaten umgewandelt, um den Überlappungszeitraum für das Video zu ermitteln.

Bitte beachten Sie, dass vor der Berechnung eines unserer vier Algorithmen immer eine gewisse Vorverarbeitung der Bilder stattfindet.

Audio+Video-Archiv

Bei Archiven, die sowohl Audio- als auch Videodaten enthalten, ermittelt unser Tool den Überschneidungszeitraum für beide getrennt. Anschließend bewertet es die Überschneidung und trifft verschiedene Entscheidungen: a) wenn die Überschneidung Null ist; b) wenn die Audio- und Videoüberschneidungen nicht ähnlich genug sind; und c) wenn beide Überschneidungen sehr ähnlich sind. In den Fällen a) und b) werden Audioüberschneidungsdaten bevorzugt, da Audioinformationen in der Regel in Fällen, in denen die Videodaten einen sehr statischen Trend aufweisen, legitimer sind. In der Situation c) schließlich werden beide Überschneidungszeiträume an den Zusammenführungsmechanismus weitergeleitet, bei dem sowohl Audio- als auch Videointervalle bei der Zusammenführung der einzelnen Medienspuren verwendet werden.

Sonstiges nützliches Material

Unsere Entwicklerdokumentation enthält leicht verständliche Erklärungen und gebrauchsfertigen Code. Bitte lesen Sie die README-Dateien in https://github.com/Vonage/archive-post-processing und https://github.com/Vonage/archive-post-processing/tree/main/examples/archive-stitcher.

Referenzen