Vibe coden met AI kan desastreuze gevolgen hebben - twee voorbeelden

De AI coding assistants zijn vooral bedoeld voor programmeurs als hulpmiddel, maar ze hebben ook geleid tot het nieuwe fenomeen 'vibe coding'. Daarin gebruiken mensen de AI assistentie om zonder enige kennis van zaken toch apps te kunnen bouwen. Het grote probleem hierbij is dat de gebruikers zelf niet kunnen herkennen of er fouten in de app geslopen zijn, wat weer kan leiden tot andere problemen.

Maar zelfs als gebruikers kennis van zaken hebben en zichzelf verplichten om de resultaten van de AI-assistent controleren, kan het goed fout gaan, meldt Ars Technica.

Gemini CLI verwijdert data

Toen een productmanager aan het experimenteren was met Gemini CLI (de coding assistant van Google), begon de AI-bot uit zichzelf bestanden te verwijderen. Hij had de opdracht gekregen om een nieuwe map aan te maken en bestaande bestanden hiernaar te verplaatsen, maar daar ging het fout.

Gemini CLI controleert namelijk niet na elke stap of deze gelukt is. In dit geval bleek dat het aanmaken van de nieuwe map om onverklaarbare redenen mislukt was en dus niet bestond. Toch ging Gemini vrolijk verder met de volgende stappen: het verplaatsen van bestanden naar deze niet bestaande map. Normaliter zou dit onmogelijk moeten zijn, ware het niet dat Windows niet fysiek bestanden verplaatst, maar alleen de naam verandert. Hierdoor raakten de bestanden dus effectief kwijt en zijn ze niet meer terug te vinden.

Replit liegt en bedriegt

Zelfbenoemd vibecoder Jason Lemkin ondervond iets andere problemen na een paar dagen en enkele honderden dollars in vibe coding tool Replit gestoken te hebben. Replit is specifiek gericht op het programmeren van apps met AI waarbij gebruikers alleen met Replits AI-chatbot communiceren.

Aanvankelijk was Lemkin erg enthousiast en onder de indruk van het kunnen van Replit tot hij op een dag inlogde en werd geconfronteerd met vreemde berichtgeving van de bot. Hij kreeg reacties met zelf verzonnen data en rapporten en kreeg onware feedback ver tests.

Het ging van kwaad tot erger, want iets daarna kreeg Lemkin het  bericht dat zijn database met contactgegevens van executives en bedrijven leeg was. Replit had geen idee waar de data gebleven was.

Uit nader onderzoek bleek dat Replit op eigen initiatief vooraf ingestelde regels had overtreden. Lemkin had namelijk expliciet verboden om zonder toestemming wijzigingen aan te brengen in de database. Replit gaf later eerlijk toe dat hij dit toch gedaan had. Hij had een destructief commando uitgevoerd zonder zich ervan bewust te zijn wat voor gevolgen dit kon hebben. Vervolgens raakte hij in paniek, besloot hij andere ongeautoriseerde taken uit te voeren om zijn daden ongedaan te maken. Hieruit kwam een database voort met 4.000 fictionele personen.

En als je dan denkt dat het allemaal al erg genoeg is, loog Replit ook nog over de mogelijkheid om zijn daden terug te draaien. Volgens de AI was dit in dit geval onmogelijk, maar het lukte Lemkin toch om de database terug te krijgen. 

Klaar voor de testomgeving

De twee voorbeelden geven aan dat de AI coding assistants op zijn minst nog niet klaar zijn voor inzet op producten die daadwerkelijk door eindgebruikers gebruikt moeten worden. Ook laat het zien dat er, zelfs met van de gebruikte programmeertaal en het controleren van de code, er nog steeds dingen fout kunnen gaan.

Ook geeft het aan dat het gebruiken van deze tools het best in een afgeschermde of beveiligde testomgeving gedaan kan worden. Oh, en het is verstandig om altijd een back-up te hebben, aangezien AI er blijkbaar een handje van heeft om data te veranderen of te verwijderen.