Neurale hardware kan nog erg veel leren

23 april 2010

Computerwetenschappers proberen daarom al decennialang de werking van het zoogdierenbrein te simuleren. Eerst softwarematig, een ontwikkeling die in de jaren negentig leidde tot visies over een grote toekomst voor neurale netwerken. Nu probeert Wei Lu en zijn onderzoeksteam aan de Universiteit van Michigan de hersenfuncties met hardware na te bootsen.

De reden dat zoogdierhersenen zo snel kunnen associëren, is dat de zenuwcellen (neuronen) in de hersenen een complex netwerk vormen met vele duizenden onderlinge verbindingen. De verbindingen (synapsen) tussen neuronen kunnen bovendien eerder gebruikte, succesvolle verbindingen onthouden en uitbreiden op basis van de sterkte en de frequentie van de signalen afkomstig van de neuronen.

De transistors in een computer liggen daarentegen allemaal keurig in slagorde en hebben slechts een gering aantal onderlinge contacten. Die contacten ontberen bovendien het lerend effect. “Sommige computers kunnen functies van het kattenbrein nabootsen maar hebben daar wel 140.000 processors voor nodig en een eigen energiecentrale. Dan nog is de kat 83 keer sneller in het herkennen van gezichten dan de computer”, stelt Lu.

Hij verving in zijn onderzoek de klassieke transistor door een memristor, een relatief nieuw type weerstand dat een geheugen heeft (memory resistor) en daarmee de eigenschappen van een synaps kan nabootsten. De memristor ‘onthoudt’ aan welke voltages hij onlangs heeft blootgestaan. In het onderzoek dat Lu in het wetenschappelijk tijdschrift Nano Letters publiceerde, demonstreert hij het gebruik van de memristor in een eenvoudige computer bestaande uit twee elektronische circuits. Hij verwacht op afzienbare termijn geavanceerdere systemen op basis van memristors te kunnen bouwen.

“De crux zit in de aantallen”, zegt Anton Stoorvogel, hoogleraar Wiskunde aan de Universiteit Twente. “Een groot neuraal netwerk heeft met de huidige software enkele honderden contacten. Zoogdierhersenen daarentegen bevatten wel miljarden neuronen.” Stoorvogel noemt een aantal voorbeelden waarin neurale netwerktechnologie sinds de jaren negentig zijn toepassing heeft gevonden, zoals bij het analyseren van vingerafdrukken. Maar hij wijst ook op de problemen waar een bredere toepassing van neurale netwerken op stuitte. “Het succes van een neuraal netwerk hangt af van de begincondities. Met software kun je makkelijk vele malen opnieuw beginnen met licht gewijzigde begincondities. Ik vraag me af hoe dat met memristors gaat? Gooi je dan de hardware weg en begin je opnieuw? Ik heb niet gezien dat ze te resetten zijn.”

Stoorvogel noemt ook het belang van training. “Hoe groter het neurale netwerk, hoe meer trainingsdata nodig zijn. Voor vingerafdrukherkenning is een neuraal netwerk van 50 ‘neuronen’ genoeg. Daar is bovendien voldoende trainingsmateriaal voor beschikbaar. Voor complexere taken neemt de benodigde hoeveelheid trainingsmateriaal exponentieel toe.”

Dit probleem is een groot obstakel gebleken bij de verdere doorontwikkeling van neurale netwerken. “Er is veel onderzoek gedaan naar het efficiënter maken van het trainingsproces, maar het lijkt er niet op dat dit lukt. De afgelopen vijftien jaar zijn we op een plateau belandt. Dan zie je ook dat de aandacht van veel onderzoekers voor het onderwerp verslapt. De manier waarop wetenschappelijk onderzoek is gefinancierd, stimuleert ook niet dat veel onderzoekers zich blijven inzetten voor een lastig te forceren doorbraak.” Stoorvogel ziet het werk aan de memristorcomputer als een interessante ontwikkeling, alleen al omdat in de IT-industrie al vaker is gebleken dat processen, ontwikkeld in software, uiteindelijk veel sneller en energiezuiniger in hardware kunnen plaatsvinden. Maar hij heeft ook bedenkingen vanwege de begincondities, de hoeveelheid training en het fysiek koppelen van grote aantallen memristors. “Laat vooral mensen originele ideeën ontwikkelen”, concludeert hij. “Ik zou er echter zelf mijn geld niet op inzetten.”

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Neem contact met ons op!