Innovatie & Strategie

Artificial Intelligence
Neural rendering

Deepfake heeft groot potentieel voor de film- en tv-industrie

Nasynchronisatie kan tot het verleden gaan behoren.

19 mei 2021

Nasynchronisatie kan tot het verleden gaan behoren.

Deepfakes worden veelal geassocieerd met grappen of - ernstiger - met manipulatie en vervalsing. Maar zoals bij vrijwel elke technologische ontwikkeling zitten er positieve en negatieve kanten aan. De Britse AI-startup Flawless heeft zich toegelegd op het perfectioneren van de techniek om zo films en tv-shows voor een veel groter publiek toegankelijk te maken.

In Nederland kunnen we het ons niet zo goed voorstellen, maar in heel veel landen is het nasynchroniseren van films, documentaires en ander videomateriaal in een vreemde taal, de gewoonste zaak van de wereld.

Eigenlijk zijn er twee opties voor de producent om het materiaal geschikt te maken voor een breder publiek dan het taalgebied waarvoor het origineel werd geproduceerd. Er kan een complete remake worden gemaakt met acteurs uit een ander taalgebied - maar dat is een heel dure oplossing en ondermijnt de kwaliteit van de geselecteerde topacteurs in het origineel. Nasynchronisatie is veel goedkoper maar geeft een verwarrend beeld doordat lipsynchronisatie ontbreekt. Het doet daarmee ook afbreuk aan de kwaliteiten van de acteurs.

Flawless was bekend met deze onvolkomendheden en zag in combinatie met deepfake-technologie een gat in de markt. The Verge liet de bovenstaande demovideo die het bedrijf op het vimeo-platform publiceerde, zien aan een aantal 'native speakers'. Die oordeelden dat de technologie nog steeds steken laat vallen, maar ze waren desondanks enthousiast over het resultaat, zeker in vergelijking met nasynchronisatie.

Techniek van Max Planck

De techniek die Flawless inzet, is afgeleid van onderzoeken die sinds 2019 aan het Max Plank Institute for Informatics zijn gedaan naar het perfectioneren van de zogeheten Visual Dubbing-technologie. Zoals in onderstaande video is te zien, nemen de oudere algoritmen niet alleen de mondbewegingen over van de acteur die de nasynchronisatie inspreekt maar ook diens spreekstijl. De verfijningen die de Max Plank-onderzoekers aanbrachten, zorgden ervoor dat de mimiek van de originele acteur beter bewaard blijft.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.