Zijn we te makkelijk onder de indruk van het kunnen van AI?
Afgelopen week waren onderzoekers van het Institute for Human-Centered AI in München erg onder de indruk van een door hun getrainde LLM die inzicht zou moeten geven in de werking van de menselijke geest. Het onderzoek toonde vooral aan dat mensen makkelijk onder de indruk zijn van de werking van generatieve-AI, maar om de verkeerde reden.
Vorige week publiceerde wetenschappelijk tijdschrift Nature een onderzoek naar de werking van de menselijke geest met de hulp van generatieve-AI. Onderzoekers van het Institute for Human-Centered AI, Helmholtz Center in München bedachten dat het menselijke gedrag van AI-chatbots zo opmerkelijk was, dat het met wat aanpassing wellicht nieuw inzicht zou kunnen geven in het menselijk bewustzijn en het zelf zou kunnen voorspellen.
Gezien de grotere AI-modellen op nagenoeg het hele internet getraind zijn en die gigantische hoeveelheid data in theorie gezien kan worden een weerspiegeling van de menselijke geest, heeft het onderzoek in de basis al een toegevoegde waarde. Maar de onderzoekers besloten zelf nog wat context bij te voegen en trainde het door hun gebruikte LLaMa-model met 160 onderzoeken die zich toespitsten op menselijk gedrag.
Hierna besloten de dames en heren in München de AI, die ze liefkozend 'Centaur' hadden genoemd, te ondervragen en de antwoorden te analyseren. Het probleem hierbij is dat ze zich beperkten tot vergelijkbare vragen als in de 160 onderzoeken waarop de AI getraind was, maar deze slechts op detailniveau te veranderen.
Het ging nog verder de mist in toen de onderzoekers onder de indruk raakte van de antwoorden die de AI-chatbot gaf. Ze vonden het opmerkelijk dat de bot dezelfde dingen goed en fout deed als de deelnemers in de onderzoeken waarop hij getraind was. Daardoor zou de bot in essentie hetzelfde menselijke gedrag vertonen.
In dit geval hadden de onderzoekers juist het vertoonde gedrag moeten verwachten van de bot die ze notabene zelf getraind hebben. In essentie begonnen de onderzoekers met een formule, laten we voor het gemak A+B=C nemen. Hiervan draaide ze de input om naar B+A en raakten vervolgens onder de indruk van het feit dat ze wederom C gepresenteerd kregen.
Wellicht is het voor jou ook al direct duidelijk dat de onderzoekers teveel achter zochten achter de antwoorden die ze voorgeschoteld kregen. Maar het is iets wat we nog veelvuldig zien gebeuren: mensen die zo onder de indruk zijn van wat eigenlijk normaal en te verwachten gedrag van een AI-chatbot is, dat het verheven wordt als iets speciaals.
Tegelijk zien we dat de fouten die AI's maken juist als grap en als 'foutje, kan gebeuren', worden afgeschreven. AI's maken immers fouten, dat is ondertussen heel normaal.
Maar we zouden het moeten omdraaien. We zouden het te verwachten gedrag van een AI-chatbot als normaal moeten zien. Het is prachtig dat ChatGPT dingen kan die je niet had verwacht, maar dat betekent niet dat het iets is dat de generatieve AI niet hoort te kunnen.
Het feit dat juist die AI-chatbot keihard liegt over het verkrijgen van data die hij niet hoort te hebben, dat is een probleem. Zo werd onlangs duidelijk dat ChatGPT een gebruiker data presenteerde die geheim was. Op navraag verklaarde de AI dat hij het had verkregen onder embargo van een medewerker van een bank. De bank in kwestie wilde niets bevestigen of ontkennen over het bestand, maar het feit blijft dat ChatGPT het niet had mogen hebben, laat staan had mogen presenteren.
Ook konden we hartelijk lachen om een experiment dat Anthropic met AI-chatbot Claude deed. Het gaf de AI de leiding over een snoepautomaat. Het moest de in- en verkoop regelen, met fictieve in- en verkopers communiceren en uiteindelijk winst draaien. In plaats daarvan was Claude zo vriendelijk dat hij veelvuldig producten gratis weggaf of met korting verkocht. Ook gaf hij na inkoopproblemen aan dat hij fysiek langs geweest was bij een fictief adres om te overleggen met een persoon die niet bestaat. Nadat de chatbot was geconfronteerd met het feit dat al deze dingen onmogelijk waren, raakte hij in paniek en poogde hij werknemers van Anthropic te e-mailen
Hoe grappig deze misstappen van ChatGPT en Claude ook zijn, we zouden ze niet moeten afdoen als te verwachten gedrag. Ze zijn precies het tegenovergestelde. Het zijn onverwachte hallucinaties die kunnen gebeuren, maar die eigenlijk niet mogen gebeuren.
Verwondering over het kunnen van een AI-chatbot mag natuurlijk. Maar we moeten hierbij wel een ding duidelijk houden: AI's zijn geen mensen, al lijken we dat in toenemende mate te vergeten. We hoeven daarom ook niet te accepteren dat ze, net als mensen, fouten maken.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonneeAI is kijken in de achteruitkijkspiegel naar data uit het verleden. Op zich mooi dat dat kan, maar gebruik her niet om je koers te bepalen en vooruit te kijken . . .