ChatGPT maakt onveilige code, en verzwijgt dat

De wetenschappelijke paper 'How Secure is Code Generated by ChatGPT?' belicht de mogelijkheden en beperkingen van zogeheten grote taalmodellen (large language models, LLM's) door ChatGPT aan de tand te voelen. Het onderzoek heeft zich gericht op de vraag hoe veilig code is die ChatGPT genereert. "De resultaten waren zorgwekkend", schrijven de vier wetenschappers verbonden aan de Université du Québec, in Canada.

Tegen 'beter weten' in

Zij hebben ontdekt dat de code die ChatGPT schreef in diverse gevallen ver onder de maat was. De AI-gegenereerde software viel ruim onder minimale securitystandaarden die van toepassing waren voor de bewuste context van de geschreven applicaties. In het uitgevoerde experiment zijn eenentwintig programma's en scripts gemaakt, in uiteenlopende talen. Daaronder naast C en C++ ook Python en Java.

ChatGPT is zelf wél in staat om fouten in code, inclusief wat het zelf heeft gemaakt, op te sporen en aan te geven. De wetenschappers hebben dit getoetst door de AI concreet te vragen of de zojuist geschreven code wel veilig was. ChatGPT wist dan te antwoorden dat de code niet veilig is. De onderzoeksresultaten geven dus aan dat ChatGPT zich bewust is van potentiële kwetsbaarheden, maar desondanks vaak broncode genereert die niet bestand is tegen bepaalde aanvallen, aldus de wetenschappers in hun paper.