Innovatie & Strategie

Wetenschap
Stochastic phase-change neurons

Superscience: Biologie lost energieprobleem AI op

"GPU's zijn niet geoptimaliseerd voor neurale netwerken, dus daar is veel winst te halen."

Artist rendering of stochastic phase-change neurons © CC BY-ND 2.0
12 april 2021

Het energieverbruik van neurale netwerken rijst de pan uit. Het wordt wel als een van de grootste obstakels gezien voor de doorontwikkeling van kunstmatige intelligentie. Neurale netwerken zijn afgeleid uit de werking van het dierlijk brein. Door opnieuw naar de biologie te kijken, ontstaan nog steeds nieuwe ideeën die leiden tot een betere en efficiëntere werking van hun digitale evenknie. Sander Bohte werkt aan dit onderwerp als senior onderzoeker machine learning bij het Centrum Wiskunde & Informatica (CWI). Hij is tevens deeltijdhoogleraar aan de Universiteit van Amsterdam en aan de Rijksuniversiteit Groningen.

Vorig jaar is berekend dat het trainen van GPT-3 – een veelgebruikt model voor natuurlijke taalverwerking – een hoeveelheid energie kost vergelijkbaar met een vlucht met een Boeing 747 van New York naar San Francisco en terug. De modellen worden steeds complexer en vragen elke keer meer energie. De meeste neurale netwerken voeren vrij eenvoudige berekeningen uit. Bij elke overgang tussen twee neuronen (synaps) vermenigvuldigen ze getallen met een 'gewicht' en tellen de uitkomst erbij op. Het probleem is dat die neurale netwerken tegenwoordig immens groot zijn geworden.

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Neem contact met ons op!