Adobe manipuliert Videos

Um Videos zu manipulieren, muss man das jeweilige Video in seine Bestandteile (Objekte) zerlegen können. Genau das scheint Adobe bereits zu können.

Entwickler Dan Goldman demonstriert das mit seinem Video (siehe unten), ins Netz gestellt bei dem amerikanischen Videoportal Vimeo.

Goldmann selbst nennt die Technologie "interaktive Video-Objekt-Manipulation". Was er macht, ist Folgendes: Ein Video wird analysiert, wobei bewegliche Objekte vom Hintergrund isoliert werden. Sodann manipuliert er einzelne Objekte gezielt, indem er beispielsweise, wie im Video gezeigt, an einem vorbeifahrenden Taxi einen Schriftzug anbringt, der sich mit dem Auto korrekt mitbewegt.

Wie weit man einzelne Objekte gezielt manipulieren kann, demonstriert Goldmann anhand des Gesichtes eines Adobe-Mitarbeiters. Er versieht es mit verschiedenen, täuschend echten Grimassen.

Technisch gesehen wird bei der Manipulation ein sogenanntes "Sparse Optical Flow Field" berechnet. Dadurch wird ein Vektorfeld in zwei Dimensionen für eine Teilmenge der Bildpunkte im Bild bestimmt (für die Bildpunkte, für die es "leicht" zu berechnen ist). Dieser optische Fluss wird dazu genutzt, um bewegte (!) Objekte zu detektieren und vom Hintergrund zu trennen (segmentieren).

Kann man also den optischen Fluss dazu nutzen, Neues dem Video hinzuzufügen oder wegzunehmen, insgesamt: zu ändern, entsteht ein anderes Video.

Dass damit Videos ihre Abbildfunktion verlieren, ist klar. Das Video als Ausschnitt einer wie auch immer gearteten Wirklichkeit wird dadurch, genau wie bei Fotos, zu einem Aspekt der Videoproduktion. (wl).