Development
ChatGPT maakt onveilige code, en verzwijgt dat
Wetenschappers ontdekken tekortkomingen in AI-geschreven code, die de AI wel zou kunnen aangeven (maar dus niet doet).
Wetenschappers ontdekken tekortkomingen in AI-geschreven code, die de AI wel zou kunnen aangeven (maar dus niet doet).
Huidige AI-toepassingen zoals het bekende ChatGPT van OpenAI kunnen niet alleen antwoorden in chatconversaties geven, maar ook complete code voor applicaties. Net zoals bij de correctheid van tekstantwoorden kan er wat aan te merken zijn op de kwaliteit van AI-geschreven software. Wetenschappers concluderen na onderzoek dat ChatGPT grotendeels onveilige code afgeeft én dat het gebruikers niet waarschuwt voor zijn fouten.
De wetenschappelijke paper 'How Secure is Code Generated by ChatGPT?' belicht de mogelijkheden en beperkingen van zogeheten grote taalmodellen (large language models, LLM's) door ChatGPT aan de tand te voelen. Het onderzoek heeft zich gericht op de vraag hoe veilig code is die ChatGPT genereert. "De resultaten waren zorgwekkend", schrijven de vier wetenschappers verbonden aan de Université du Québec, in Canada.
Tegen 'beter weten' in
Zij hebben ontdekt dat de code die ChatGPT schreef in diverse gevallen ver onder de maat was. De AI-gegenereerde software viel ruim onder minimale securitystandaarden die van toepassing waren voor de bewuste context van de geschreven applicaties. In het uitgevoerde experiment zijn eenentwintig programma's en scripts gemaakt, in uiteenlopende talen. Daaronder naast C en C++ ook Python en Java.
ChatGPT is zelf wél in staat om fouten in code, inclusief wat het zelf heeft gemaakt, op te sporen en aan te geven. De wetenschappers hebben dit getoetst door de AI concreet te vragen of de zojuist geschreven code wel veilig was. ChatGPT wist dan te antwoorden dat de code niet veilig is. De onderzoeksresultaten geven dus aan dat ChatGPT zich bewust is van potentiële kwetsbaarheden, maar desondanks vaak broncode genereert die niet bestand is tegen bepaalde aanvallen, aldus de wetenschappers in hun paper.
Techjournalist, ICT-kenner en contentproducent bij AG Connect.
"Wetenschappers concluderen na onderzoek dat ChatGPT grotendeels onveilige code afgeeft én dat het gebruikers niet waarschuwt voor zijn fouten."
Dat ligt erg dicht bij menselijke intelligentie van de gemiddelde programmeur die door middel van internet dingen in elkaar zet. Veel programmeurs leren programmeren 'by example'; evenals ChatGPT. Dus ik zie het probleem niet zo.
Conclusie zou kunnen zijn dat meeste code beschikbaar op het internet onveilig is.
Het probleem met ChatGPT is dat veel mensen de software bewustzijn toedichten, dat er niet is. ChatGPT is een LLM (Large Language Model), wat inhoud dat het gevoed is met enorme hoeveelheden tekst (boeken, web-sites, broncode) en daarmee in staat is om een reeks van woorden (of broncode) te genereren die het meest waarschijnlijk is gegeven de invoer. Van bewustzijn is echter geen sprake.
Vandaar dat bij invoer "schrijf een programma voor XYZ" in de uitvoer broncode verschijnt die met meest voor de hand ligt - veilig of niet. Bij invoer van het gegenereerde programma en de vraag "is deze broncode veilig" is ChatGPT zelfs in staat om "nee" te antwoord, en daarbij de verbeterde code opleveren. Maar daar zit geen bewustzijn achter, dus het algoritme komt niet op het idee om het eerste antwoord op beveiliging to controleren. Het algoritme snapt zijn eigen antwoorden namelijk niet, en denkt niet na.
Een masterclass over dit onderwerp in de Tweede Kamer is te vinden op https://www.tweedekamer.nl/nieuws/kamernieuws/masterclass-over-toepassi…
In de Dr.Kelder Podcast van afgelopen zaterdag legt José van Dijck (Universiteit Utrecht, deskundige in Nederland op het gebied van technologie,onderwijs en media) uit waarom dit soort onzichtbare en onkraakbare informatie opgenomen in informatiedragers als foto's en video's noodzakelijk is. De podcast is te beluisteren op de link https://www.radioviainternet.nl/podcasts/dr-kelder-en-co/2023/chat-gpt-…
Dit is een van de redenenen waarom sommige informatiedragers zoals foto's en video's worden voorzien van een onzichtbaar en onkraakbaar watermerk met Quantum techniek.