Kleding verdwijnt voor nieuwe computer vision

In de animatiefilmwereld is het heel gebruikelijk. Als je een figuur, een karakter of avatar natuurlijk wilt neerzetten laat je mensen die bewegingen maken en brengt die karakteristieken over op het figuur. Deze 'motion capture'-acteurs dragen een pak dat als gegoten om hen heen zit.

Maar de mensen die een smartphone gebruiken als model voor bijvoorbeeld een AR-game, dragen dikke jassen, slobberige sweaters, hoodies, jurken en broeken en misschien ook nog rugzakken. Het zijn allemaal omhulsels die het lastig maken voor de computer om vast te stellen hoe het lichaam beweegt.

De oplossing komt van een combinatie van twee al langer gebruikte technieken, signaleert TechCrunch. Het resultaat is een soort röntgenafbeelding van het lichaam onder de kleding die in real time kan worden gemaakt en zelfs bij snelle bewegingen zoals bij dansen, een accurate representatie oplevert.

Dieptecamera speelt belangrijke rol

De technologie maakt gebruik van de mogelijkheid van camera's om diepte te zien, een eigenschap die in steeds meer smartphone-camera's is terug te vinden. Deze beelden worden gebruikt in DynamicFusion (pdf) om een inschatting te maken van de houding van het lichaam. De tweede methode - BodyFusion - gebruikt een skelet om de houding in te schatten. Beide methodes zijn los van elkaar echter niet goed met snelle bewegingen. Door de twee technieken te combineren ontstaat een veel beter beeld. Het resultaat is een skelet dat heel natuurlijk beweegt en is omhuld met een soort huid op een aannemelijke afstand.

Er zijn echter wel nadelen. De technologie heeft de neiging de omvang van iemands lichaam te overschatten, afhankelijk van de hoeveelheid kleding die iemand aanheeft. Ook kan de technologie er slecht mee omgaan wanneer iemand een interactie heeft met een object, bijvoorbeeld een tafel of een fiets. De software heeft de neiging daar ledematen van te maken. Maar daar wordt nog aan gewerkt door de onderzoekers van de Tsinghua University in China, Beihang University, Google, Univeristy of Southern California en het Max Planck Instituut.

 

Genoeg toepassingen te bedenken

Zij zien vele toepassingen van de technologie zoals in virtual reality en augmented reality, gaming, entertainment, maar bijvoorbeeld ook in nieuwe retailtoepassingen waarbij je kleding virtueel kunt passen. De onderzoekers presenteren hun resultaten (pdf) op de computervision-conferentie CVPR in Salt Lake City deze week.