Onderzoek: coderen met AI gaat langzamer dan coderen zonder AI

Daar kwamen onderzoekers van METR (Model Evaluation & Threat Research) achter nadat ze 16 programmeurs met meerdere jaren ervaringen 246 taken met en zonder de hulp van AI lieten uitvoeren. 

Bij elk van de taken werd vooraf gespecificeerd hoeveel tijd met dacht dat ervoor nodig zou zijn, zonder inzet van AI. Vervolgens kreeg de helft van de groep de beschikking over Anthropic's Claude of Cursor Pro die de mensen konden inzetten als helpende hand. Die groep was direct positief gestemd en verwachtte dat ze 24 procent sneller klaar zouden zijn met hun taken dan de lui die alles handmatig moesten doen.

Maar de ontwikkelaars die AI konden inzetten bleken uiteindelijk gemiddeld 19 procent trager te zijn dan de mensen die geen AI mochten inzetten. Het opmerkelijke hierbij is dat ondanks deze bevinding, de AI-gebruikers nog het gevoel hadden 20 procent sneller te zijn dan dat ze zouden zijn zonder de kunstmatige helpende hand.

Prompten, nakijken en wachten

Het probleem bij de AI-gebruikers lag vooral bij het nakijken van de code die de tool opleverde, zagen de onderzoekers. Dit kwam naar voren uit schermopnames die gemaakt werden van de manier waarop de ontwikkelaars werkten. De extra tijd die de programmeurs met AI hulp nodig bleken te hebben, kwam  vooral uit het prompten, het wachten op de AI en het nakijken van de output.

Het onderzoek toont aan dat de inzet van AI niet in alle gevallen productiviteitswinst oplevert, vooral niet in complexere situaties. Ook wordt bevestigd dat menselijke kennis van zaken, die werknemers vaak door de jaren heen opbouwen, niet zomaar vervangen kan worden door een AI-tool. 

Ondanks de uitkomst van het onderzoek, bleven de deelnemers onverminderd positief over een toekomst met hulp van AI. Ze gaven aan dat ze het vertrouwen hebben dat de technologie voldoende doorontwikkeld zal worden zodat het op korte termijn niet alleen sneller, maar ook zo goed presteert dat er minder of geen nakijkwerk meer nodig is.