AI-model SL2T vertaalt Amerikaanse gebarentaal in realtime naar tekst

De toepassing, SL2T (een afkorting voor Sign Language To Text) werkt met een model dat de positie van punten van iemand die gebaart, kan volgen. Die posities worden op de telefoon vastgelegd en als geometrische coördinaten naar de server gestuurd en daar vertaald in geschreven tekst. Die werkwijze is niet alleen snel, maar ook privacy-vriendelijk: er hoeven geen video’s te worden opgestuurd. Voorlopig is SL2T alleen beschikbaar voor Amerikaanse gebarentaal (ASL), die significant verschilt van Nederlandse gebarentaal (NGT).

Geen glosses meer

In voorlopers van SL2T werd gewerkt met zogenaamde glosses, staat in het artikel op de website van DeepMind, het onderzoekslaboratorium van Google. Glosses zijn woord-voor-woord vertalingen van de gebaren. Maar gebarentaal is veel complexer dan zo’n letterlijke vertaling, want bij gebarentaal spelen ook gezichtsuitdrukkingen, wenkbrauwen, mondbewegingen en hoofdbewegingen een rol. Ook gebruikt gebarentaal de ruimte om de persoon die gebaart om personen, relaties en tijd aan te geven. Omdat SL2T bewegingsdata direct naar tekst vertaalt, zonder die tussenstap van glosses, is de communicatie natuurlijker en sneller.

Goede score

Het concept van SL2T komt van Sam Sepah, een dove medewerker van Google. In zijn project zijn dove mensen voortdurend aangehaakt bij elke fase van de ontwikkeling. Op tests scoort SL2T verrassend goed: op een gestandaardiseerde test (FLEURS-ASL), scoort SL2T volgens Google zelf beter dan alle eerder gepubliceerde modellen, zelfs zonder voorbereiding op de specifieke vragen van de test.