Overslaan en naar de inhoud gaan

Verklaarbare AI gaat nieuwe fase in met 'concept whitening'

Het grote probleem van de inzet van neurale netwerken, machine learning of deep learning, is dat na veel trainen het systeem met de goede antwoorden komt, maar volstrekt onduidelijk is hoe het tot die antwoorden is gekomen. Dat maakt de toepassing in veel gevallen lastig, bijvoorbeeld wanneer iemand een beslissing wil aanvechten die is genomen op basis van het antwoord van het systeem.
Explainable AI
© Shutterstock
Shutterstock

De zoektocht naar 'verklaarbare AI' blijkt niet eenvoudig, maar een nieuwe aanpak genaamd 'concept whitening' lijkt mogelijkheden te hebben.

Tot nog toe concentreerden de pogingen de besluitvorming van een neuraal netwerk inzichtelijker te maken op het achteraf onderzoeken van de resultaten en de routes die data door het neuraal netwerk hebben gevolgd. De verklaringen die daaruit ontstaan, zijn echter vaak niet correct. Ook bieden ze geen oplossing voor het probleem dat het neuraal netwerk misvattingen heeft afgeleid uit de trainingsdata.

Wetenschappers van de gerenommeerde Amerikaanse Duke University gooien het over een andere boeg door bij de opbouw van een neuraal netwerk dit te sturen tot het aanleren van specifieke concepten. Zij hebben hun aanpak toegepast op een systeem voor beeldherkenning, maar het lijkt er op dat het veel breder is toe te passen op deeplearning-modellen.

Groene weide in plaats van schapen

Tijdens de training leggen de verschillende lagen van een neuraal netwerk de eigenschappen die ze extraheren uit de trainingsdata, vast in parameters. Dat wordt wel de 'latent space' van het model genoemd. Het zou mooi zijn als het neurale netwerk daarin de meest relevante zaken vastlegt die nodig zijn om een afbeelding te categoriseren. Maar helaas krijgen de meest opvallende zaken de voorkeur. Zo kan het dat terwijl een neuraal netwerk wordt getraind op het herkennen van schapen, het leert groene weiden te herkennen.

Concept whitening voegt naast de reguliere geannoteerde set trainingsdata een een nieuwe categorie trainingsdata toe met concepten gerelateerd aan de taak die het neuraal netwerk moet gaan uitvoeren. Met deze tweede trainingsronde worden specifieke 'neuronen' in elke laag aangepast zodat ze beter in lijn komen met het classificatieproces dat in een bepaalde laag moet plaatsvinden. Op die manier ontstaat een nette organisatie in elke laag van het neurale netwerk en worden de neuronen geactiveerd die bij een bepaald concept horen. Het voordeel is ook dat het neurale netwerk minder geneigd is voor de hand liggende fouten te maken.

 

Reacties

Om een reactie achter te laten is een account vereist.

Inloggen Word abonnee

Bevestig jouw e-mailadres

We hebben de bevestigingsmail naar %email% gestuurd.

Geen bevestigingsmail ontvangen? Controleer je spam folder. Niet in de spam, klik dan hier om een account aan te maken.

Er is iets mis gegaan

Helaas konden we op dit moment geen account voor je aanmaken. Probeer het later nog eens.

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in