Hoeveel energie mag kunstmatige intelligentie kosten?

Anderen zien de kosten en het energieverbruik als kinderziekten van een nieuwe technologie die vanzelf verdwijnen als de vrije markt zijn werk doet.

Het trainen van een bekend algoritme voor natuurlijke taalverwerking - Bidirectional Encoder Representations from Transformers (BERT) - kost grofweg evenveel als een retourvlucht van een volle Boeing 747 tussen New York en San Francisco, berekenden onderzoekers (pdf) van het Amherst -lab van de University of Massachusetts. Maar dat algoritme is alweer achterhaald. Een nieuwer model GPT-3 heeft door betere training al een ruim 100 keer hogere nauwkeurigheid dan BERT.

De reden dat de energiekosten zo oplopen, zit in het feit dat er onvoorstelbare hoeveelheden tekst moeten worden verwerkt om de accuratesse te bereiken. Eigenlijk zijn neurale netwerken heel dom. Ze 'leren' op basis van trial and error tot het juiste antwoord een keer langskomt. AI-onderzoeker Kate Saenko, illustreert het in een opiniestuk op The Conversation aan de hand van de zin 'Mijn hond is leuk' waarbij 'leuk' is afgeplakt. Door zoveel mogelijk woorden achter de zin te plakken komt 'leuk' een keer voorbij en is er een succes. Door hetzelfde proces heel veel keer te laten plaatsvinden, komt er een patroon in de successen en wordt het model accurater. Om BERT te trainen waren 3,3 miljard woorden nodig die 40 keer aan het netwerk werden gevoed.

Hoe groter het neurale netwerk, hoe beter uiteindelijk de uitkomsten zijn, ook al wordt maar een fractie van de beschikbare verbindingen in het netwerk gebruikt. Dat is overigens geen ongebruikelijke aanpak. Ook bij een kind worden in de leerfase heel veel koppelingen tussen neuronen in het brein aangelegd waarvan een groot deel na verloop van tijd weer verdwijnt. Alleen een kind is bij dat proces ongeveer 3.000 keer efficiënter dan BERT.

Macht over AI concentreert zich

Een van de belangrijke problemen van deze ontwikkeling is dat het tot stand komen van nieuwe modellen niet alleen een steeds grotere milieubelasting oplevert, maar ook zo kostbaar dreigt te worden dat alleen een selecte groep onderzoekers - vaak in het bedrijfsleven - toegang tot die middelen heeft. Onlangs leidde dat bij Google tot een heftig conflict tussen een van de toponderzoekers van het ethisch team van Google - Timnit Gebru - en de Google-leiding. Gebru verweet Google niet geïnteresseerd te zijn in het terugdringen van de energieconsumptie van AI, maar uitsluitend onderzoek te doen naar grotere, energieverslindende modellen omdat het daarmee veel geld kan verdienen, bijvoorbeeld met vertaaldiensten.

Wetenschappers zien zeker mogelijkheden om het trainen van neurale netwerken efficiënter te maken. Saenko wijst er op dat een vergelijkbare ontwikkeling heeft plaatsgevonden bij datacentra, waar een eerder voorspelde explosie in het energieverbruik ook niet is uitgekomen. Wetenschappers kijken onder meer naar nieuwe hardware, maar ook naar het combineren van kleinere voorgetrainde modellen om tot grote systemen te komen. Die hoeven dan niet van de grond af aan te worden opgebouwd.

Bij Ars Technica - die deze discussie opgezet door Saenko ook aanhaalt - klinkt forse kritiek op de alarmerende toon van het opiniërende artikel. Elke ontwikkeling komt aanvankelijk met een hoge prijs. Na verloop van tijd en met de juiste inzet en uiteindelijk schaalvoordelen ontstaat een massaproduct, zo werkt de economie, aldus een van de critici.