Waarom chatbots degraderen – en een chatbot fix-engineer nodig is

Chatbots zijn voor veel organisaties de eerste stap in het toepassen van generatieve AI. Vaak presteren ze niet zo goed als in de eerste demo’s, constateert IT-consultant Sean Michael Kerner op TechTarget. Op zorgvuldig gekozen vragen reageren ze in testsituaties probleemloos met de goede antwoorden. Het gaat mis wanneer de technologie is geïmplementeerd en het aantal gebruikers en onverwachte vragen toeneemt. Kerner haalt diverse voorbeelden aan zoals van Air Canada waar de chatbot verkeerde ticketinformatie gaf. Die fout werd misbruikt en de luchtvaartmaatschappij liep daardoor financiële schade op.

Hoewel organisaties vaak veel investeren in de ontwikkeling van chatbots, ebt de aandacht ervoor na de implementatie snel weg. Chatbots degraderen dan door technische problemen en organisatorische barrières. De systemen waar de chatbot informatie ophaalt, veranderen (context drift), of het AI-model heeft in praktijk toch meer last van hallucinaties dan in een proefproject naar voren kwamen. Een andere valkuil is dat de werking van de chatbot niet goed wordt geregistreerd en beoordeeld. Al deze problemen zorgen ervoor dat dit soort eerste AI-projecten veel minder succesvol zijn dan gedacht.

De chatbot fix-engineer als superman

IT-leiders kunnen een debacle voorkomen door veel meer aandacht te besteden aan de onderhoudsfase van een chatbot. Er moet een duidelijke verantwoordelijke worden aangesteld, een medewerker met technische én domeinkennis, de chatbot fix-engineer. Daarnaast werken kleine multidisciplinaire teams (pods) vanuit verschillende expertises samen aan het ontwikkelen en onderhouden van de systemen waarop de chatbot de antwoorden op vragen genereert. Dit team moet de bevoegdheden hebben om beslissingen te nemen en op korte termijn verbeteringen door te voeren. Het team moet kunnen beschikken over data met betrekking tot de prestaties van de chatbot die afkomstig zijn uit een goed monitoringsysteem. De feedback van gebruikers levert ook waardevolle input voor de continue verbetering van de chatbot.

Onderhoud even belangrijk als ontwikkelfase

Daarnaast zijn de IT-leiders verantwoordelijk voor het opstellen en controleren van een centrale governance die een consistente aanpak van het onderhoud garandeert. Onderdeel daarvan zijn afspraken met technologieleveranciers zodat doorlopend onderhoud mogelijk blijft.

Succesvol een chatbot implementeren betekent dus meer dan alleen een initiële kapitaal- en tijdinvestering. Het is geen eenmalig project, maar een strategisch, evoluerend systeem dat permanent aandacht nodig heeft om het rendement te leveren dat bij aanvang werd beraamd.