Nieuw hardwareconcept maakt deeplearning-systeem miljoen keer sneller dan brein

Programmeerbare resistors zijn in de analoge computerwereld wat de transistors zijn voor digitale verwerking. Ze zijn afgeleid uit de werking van een synaps, waarmee een biologisch neuron informatie doorgeeft aan een ander neuron. Met programmeerbare resistors in rijen (arrays) - samengevoegd tot een complexe lagenstructuur - zijn inmiddels taken als beeldherkenning en natuurlijke taalverwerking uit te voeren, die tot nog toe eigenlijk alleen met digitale neurale netwerken mogelijk zijn. Hoewel digitale neurale netwerken ook concepten zijn gebaseerd op ideeën afkomstig uit biologische hersenfuncties, springen ze niet efficiënt om met energie. Ter vergelijking: megawatts verslindende digitale neurale netwerken zijn nog altijd geen partij voor het menselijk brein als het gaat om veelzijdigheid in combinatie met snelheid, terwijl het menselijk orgaan slechts 25 watt gebruikt.

Daarom zijn wetenschappers toch teruggegaan naar de tekentafel of liever het hersenonderzoek, om meer te leren over hoe het brein zo efficiënt kan zijn. Dan blijkt dat sommige processen veel efficiënter analoog kunnen worden uitgevoerd dan digitaal.

De programmeerbare resistors - waar de MIT-onderzoekers nu in Science over publiceren - maken op drie vlakken een stap vooruit. Eerdere ontwerpen slaagden er al in even snel te werken als een dierlijke synaps, maar deze met nieuwe materialen ontwikkelde programmeerbare resistors werken maar liefst een miljoen keer sneller dan de vorige versies. Een bijkomend voordeel van het materiaal waarmee deze snelle analoge componenten zijn gemaakt, is dat ze - in tegenstelling tot de voorgaande versies - compatibel zijn met reguliere chipfabricagetechnieken. Dat maakt het opschalen van de productie straks veel eenvoudiger. En de nieuwe componenten zijn ook nog eens energiezuiniger, hoewel niet duidelijk wordt hoeveel zuiniger ze zijn.

Nanoschaal is cruciaal

De belangrijk deel van het succes van de nieuwe aanpak zit in de samenwerking met de collega's van MIT.nano, die er in zijn geslaagd de programmeerbare resistors op nanoschaal te maken. Daarbij wordt een proton geplaatst in een isolerend oxide waarmee de elektrische geleidbaarheid kan worden gemoduleerd. Omdat deze 'apparaatjes' heel dun zijn, kan de beweging van het ion worden versneld door het aanleggen van een elektrisch veld. Het schakelen kan daardoor in nanoseconden plaatsvinden, legt hoogleraar en medeauteur Bilge Yildiz uit. 

Biologische synapsen werken met een potentiaal van van ongeveer 0,1 volt. Omdat voor het transport van protonen in de kunstmatige synapsen een speciaal nanoglaslaagje wordt gebruikt in plaats van water zoals in de biologische synaps, kan wel tot 10 volt spanningsverschil worden gebruikt zonder dat er schade optreedt. Hoe sterker het elektrisch veld, hoe sneller de elektronische apparaatjes werken, voegt Yildiz' collega Ju Li toe.

Meer dan een snellere auto

Als er op deze manier analoge processoren beschikbaar komen, worden de methoden om de huidige generatie neurale netwerken te trainen overbodig. Er ontstaan dan netwerken die een ongekende complexiteit kunnen bereiken en veel sneller werken. "Met andere woorden, dit is niet een snellere auto, maar een ruimtevaartuig", zegt hoofdauteur Murat Onen.