Innovatie & Strategie

Artificial Intelligence
Explainable AI

Verklaarbare AI gaat nieuwe fase in met 'concept whitening'

Lagen in neuraal netwerk beter ingericht.

© Shutterstock igor kisselev
13 januari 2021

Lagen in neuraal netwerk beter ingericht.

Het grote probleem van de inzet van neurale netwerken, machine learning of deep learning, is dat na veel trainen het systeem met de goede antwoorden komt, maar volstrekt onduidelijk is hoe het tot die antwoorden is gekomen. Dat maakt de toepassing in veel gevallen lastig, bijvoorbeeld wanneer iemand een beslissing wil aanvechten die is genomen op basis van het antwoord van het systeem. De zoektocht naar 'verklaarbare AI' blijkt niet eenvoudig, maar een nieuwe aanpak genaamd 'concept whitening' lijkt mogelijkheden te hebben.

Tot nog toe concentreerden de pogingen de besluitvorming van een neuraal netwerk inzichtelijker te maken op het achteraf onderzoeken van de resultaten en de routes die data door het neuraal netwerk hebben gevolgd. De verklaringen die daaruit ontstaan, zijn echter vaak niet correct. Ook bieden ze geen oplossing voor het probleem dat het neuraal netwerk misvattingen heeft afgeleid uit de trainingsdata.

Wetenschappers van de gerenommeerde Amerikaanse Duke University gooien het over een andere boeg door bij de opbouw van een neuraal netwerk dit te sturen tot het aanleren van specifieke concepten. Zij hebben hun aanpak toegepast op een systeem voor beeldherkenning, maar het lijkt er op dat het veel breder is toe te passen op deeplearning-modellen.

Groene weide in plaats van schapen

Tijdens de training leggen de verschillende lagen van een neuraal netwerk de eigenschappen die ze extraheren uit de trainingsdata, vast in parameters. Dat wordt wel de 'latent space' van het model genoemd. Het zou mooi zijn als het neurale netwerk daarin de meest relevante zaken vastlegt die nodig zijn om een afbeelding te categoriseren. Maar helaas krijgen de meest opvallende zaken de voorkeur. Zo kan het dat terwijl een neuraal netwerk wordt getraind op het herkennen van schapen, het leert groene weiden te herkennen.

Concept whitening voegt naast de reguliere geannoteerde set trainingsdata een een nieuwe categorie trainingsdata toe met concepten gerelateerd aan de taak die het neuraal netwerk moet gaan uitvoeren. Met deze tweede trainingsronde worden specifieke 'neuronen' in elke laag aangepast zodat ze beter in lijn komen met het classificatieproces dat in een bepaalde laag moet plaatsvinden. Op die manier ontstaat een nette organisatie in elke laag van het neurale netwerk en worden de neuronen geactiveerd die bij een bepaald concept horen. Het voordeel is ook dat het neurale netwerk minder geneigd is voor de hand liggende fouten te maken.

 

Lees meer over Innovatie & Strategie OP AG Intelligence
1
Reacties
Mr A.F. le Gras 14 januari 2021 22:14

Het ongenoegen over de uitkomsten van algoritmen is niet alleen groot, maar ook terecht, zoals keer op keer blijkt. Pogingen om hier oplossingen voor te vinden , zoals recourse algoritmen en het hierboven beschreven concept whitening, hebben op de keeper beschouwd niets opgeleverd. Ook allerlei pogingen om "eerlijke" of "rechtvaardige" algoritmen te maken stranden op het feit dat we een pluriforme maatschappij zijn met heel verschillende opvattingen over wat eerlijk of rechtvaardig is , waardoor het onmogelijk is die begrippen te definieren en dus te gebruiken voor algoritmen. En geleidelijk wordt steeds duidelijker dat algoritmen in het overheidsdomein niet alleen niet toepasbaar maar ook niet toelaatbaar zijn, omdat de overheid geenszins die datagedreven dienstverlener is die de AI specialisten in haar zagen en algoritmen in dat domein onverenigbaar zijn met de uitgangspunten van de rechtsstaat.

Ik denk dan ook dat de IT wereld er verstandig aan zou doen een al te ongebreideld enthousiasme voor AI te temperen en een meer realistische visie te ontwikkelen op de toepassingsmogelijkheden.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.