Ein Aspekt, der in den bisherigen Untersuchungen noch fehlte, war die Auswirkung der Berechnungsdauer auf die Qualität eines Deepfakes. Bis anhin wurden sämtliche Beispiele mit einer Dauer von 24 Stunden berechnet. In diesem Artikel soll die Auswirkung der Rechenzeit aufgezeigt werden. Sämtliche Beispiele wurden basierend auf dem Material erstellt, das im Fall Quellvideo 5000 Bilder ⇒ Zielvideo 7 Sekunden genutzt wurde. Es ist weiterhin zu beachten, dass ein bereits auf Donald Trump und Nicolas Cage vortrainiertes Model verwendet wurde.

Auswirkung der Berechnungsdauer

Abbruch nach 1 Sekunde

Im resultierenden Video ist klar ersichtlich, dass Nicolas Cage als Ursprungsmodel verwendet wurde. Das Gesicht erscheint zudem etwas unscharf.

Abbruch nach 1 Minute

Bereits nach einer Berechnungszeit von lediglich einer Minute zeigen sich erste minime Veränderungen. So sind im Vergleich zum Video von einer Sekunde bereits eine leicht andere Gesichtsfarbe und eine minime Anpassung der Gesichtsstrukturen, vor allem im Bereich des Mundes, zu erkennen.

Abbruch nach 1 Stunde

Es zeigen sich weitere Verbesserungen, die Gesichtszüge von Nicolas Cage sind nicht mehr eindeutig zu erkennen. Es ist allerdings auch noch kein eindeutiger George Clooney zu erkennen.

Abbruch nach 6 Stunden

Nach sechs Stunden Berechnungszeit zeigen sich erste klare Veränderungen. Das resultierende Gesicht ist runder und weniger länglich und enthält nicht mehr die eindeutigen Gesichtszüge von Nicolas Cage. Auch im Bereich der Augenpartie kann ein Unterschied festgestellt werden. Die Augen sind einiges grösser als die in vorherigen Videos errechneten Gesichter.

Abbruch nach 12 Stunden

Zwischen den Berechnungen von sechs und zwölf Stunden lassen sich von Auge keine Unterschiede feststellen.

Abbruch nach 24 Stunden

Zwischen den resultierenden Videos aus den sechs Stunden Berechnungszeit und den 24 Stunden Berechnungszeit lassen sich wieder Unterschiede feststellen. Im Video mit den 24 Stunden Berechnungszeit wirken die Augen leicht grösser und die Lippen etwas voller.

Abbruch nach 48 Stunden

Zwischen den Berechnungen von 24 Stunden und 48 Stunden lassen sich von Auge keine Unterschiede feststellen.

Abbruch nach 1 Woche

Auch zwischen den Berechnungen von 24 und einer Woche lassen sich von Auge keine Unterschiede feststellen.

Zukunft der Deepfakes

Seit mit dem Beginn dieser Auswertungen gestartet wurde, hat sich im gesamten Feld des Deep Learnings bereits vieles weiterentwickelt. In einem neuen Paper namens Few-Shot Adversarial Learning of Realistic Neural Talking Head Models wurde eine Methode aufgezeigt, mit der schon ab acht Fotos ein realistischer sprechender Kopf nachgestellt werden kann.

Fazit

Es zeigt sich, dass mit einem bereits vortrainierten Modell eine Berechnungszeit von 24 Stunden ausreichend sein sollte, um ein gutes Resultat zu erhalten. Durch das Fortführen des Trainings über 24 Stunden kann keine Verbesserung mehr festgestellt werden. Zusammengefasst aus sämtlichen Untersuchungen kann festgestellt werden, dass ab einem Bildmaterial von 500 Bildern, einem Set von Bildern, das sämtliche Winkel und die Beleuchtung beinhaltet, innerhalb von 24 Stunden ein guter Deepfake erstellt werden kann.

Über die Autorin

Andrea Hauser hat ihren Bachelor of Science FHO in Informatik an der Hochschule für Technik Rapperswil abgeschlossen. Sie setzt sich im offensiven Bereich in erster Linie mit Web Application Security Testing und der Umsetzung von Social Engineering Kampagnen auseinander. Zudem ist sie in der Forschung zum Thema Deepfakes tätig. (ORCID 0000-0002-5161-8658)

Links

• https://arxiv.org/pdf/1905.08233v1.pdf