Deepfake heeft groot potentieel voor de film- en tv-industrie

In Nederland kunnen we het ons niet zo goed voorstellen, maar in heel veel landen is het nasynchroniseren van films, documentaires en ander videomateriaal in een vreemde taal, de gewoonste zaak van de wereld.

Eigenlijk zijn er twee opties voor de producent om het materiaal geschikt te maken voor een breder publiek dan het taalgebied waarvoor het origineel werd geproduceerd. Er kan een complete remake worden gemaakt met acteurs uit een ander taalgebied - maar dat is een heel dure oplossing en ondermijnt de kwaliteit van de geselecteerde topacteurs in het origineel. Nasynchronisatie is veel goedkoper maar geeft een verwarrend beeld doordat lipsynchronisatie ontbreekt. Het doet daarmee ook afbreuk aan de kwaliteiten van de acteurs.

Flawless was bekend met deze onvolkomendheden en zag in combinatie met deepfake-technologie een gat in de markt. The Verge liet de bovenstaande demovideo die het bedrijf op het vimeo-platform publiceerde, zien aan een aantal 'native speakers'. Die oordeelden dat de technologie nog steeds steken laat vallen, maar ze waren desondanks enthousiast over het resultaat, zeker in vergelijking met nasynchronisatie.

Techniek van Max Planck

De techniek die Flawless inzet, is afgeleid van onderzoeken die sinds 2019 aan het Max Plank Institute for Informatics zijn gedaan naar het perfectioneren van de zogeheten Visual Dubbing-technologie. Zoals in onderstaande video is te zien, nemen de oudere algoritmen niet alleen de mondbewegingen over van de acteur die de nasynchronisatie inspreekt maar ook diens spreekstijl. De verfijningen die de Max Plank-onderzoekers aanbrachten, zorgden ervoor dat de mimiek van de originele acteur beter bewaard blijft.