Nieuw Nederlands AI-model Walnoot scoort hoger dan GPT-NL
- Wainut ontwikkelde Walnoot, een Nederlands open-source AI-model.
- Walnoot scoort hoger dan GPT-NL op benchmark EuroEval, ondanks dat het veel kleiner is.
- Het doel is meer AI-soevereiniteit in Nederland en meer samenwerking tussen Nederlandse AI-ontwikkelaars.
Luciano Currie (rechts op de foto) en Seleman Arefi zijn de makers van Walnoot.
© Aangeleverd
Anthropic moest deze zomer Claude Mythos offline halen vanwege Amerikaanse exportbeperkingen. Reden voor Seleman Arefi en Luciano Currie van AI-dienstverlener Wainut om na te denken over een soeverein alternatief. Een weekend hard werken, klaar? ‘Dat was het idee. Uiteindelijk werd het een week, en toen een maand. Toen hadden we de eerste versie.’
Wainut is geen groot IT-bedrijf met een glanzend hoofdkantoor, het is een kernteam van vier IT’ers in een kantoorruimte in omgeving Rotterdam. Ze helpen organisaties, zoals gemeenten, bouwbedrijven en zorgverzekeraars, met AI te werken. Als in de zomer Mythos ineens uit de lucht gaat door een Amerikaanse exportbeperking, wordt met name Luciano Currie (de technische man, volgens zijn collega Seleman Arefi) pijnlijk duidelijk hoe afhankelijk hun werk is van Big Tech. ‘Als Amerika het wil, moeten wij het in Europa doen met second best’, zegt hij. ‘Het sterkste model blijft exclusief voor de Amerikanen, als zij dat zo beslissen.’
Knagend gevoel
Hoewel na een paar weken de toegang tot het Amerikaanse AI-model werd hersteld, bleef dat gevoel van afhankelijkheid aan allebei de mannen knagen. ‘Van opdrachtgevers binnen de overheid horen we ook voortdurend dat ze zo soeverein mogelijk willen werken,’ zegt Currie. GPT-NL moet het antwoord worden op die vraag, weten ze. ‘Onze klanten kijken er al jaren naar uit, mogelijk gaat het Nederlandse model einde dit jaar in productie. Maar we horen ook kritiek, het model schijnt nog niet zo goed te presteren.’
‘Als Amerika het wil, moeten wij het in Europa doen met second best’
- Luciano Currie
‘Kijken hoe ver we komen’
Dus dachten ze: misschien kunnen we gewoon zelf een alternatief bouwen. Currie: ‘Ons plan was simpel: we trekken er een weekend voor uit, kijken hoe ver we komen. Een paar duizend euro aan rekenkracht, een paar dagen werk, wie weet?’
Na dat weekend zagen ze allebei genoeg potentie om verder te gaan. Dat werd een week, en uiteindelijk een maand. En nu? Walnoot komt vandaag, op 28 september vrij beschikbaar als open source-model. Het model is door Currie gebouwd. Het is een klein model, geen vervanging voor Claude of ChatGPT, zegt hij: ‘Voor kleine taken werkt het goed. Stel je voor: er komt een brief of mail binnen en je wilt informatie uit het bericht halen om in een bepaalde taakapplicatie te stoppen. Hij vergelijkt de bouwwijze met auto’s. GPT-NL is in die metafoor Mercedes en bouwt alles zelf. Wainut gebruikt bestaande bouwblokken: Apertus als motor, het openbaar gemaakte corpus als brandstof en continued pre-training, SFT en reinforcement learning voor de carrosserie. ‘Zet je de auto’s vervolgens op hetzelfde circuit - EuroEval - dan scoort Walnoot hoger dan de scores die GPT-NL heeft gepubliceerd. Walnoot is daarbij 8B tegenover 26B van GPT-NL.’
Gerelateerde artikelen
Goed bestudeerd
Currie heeft GPT-NL goed bekeken voordat hij Walnoot ging bouwen. ‘We hebben kunnen profiteren van hun werk’, zegt hij. ‘Ik heb de soevereiniteitslaag die zij hebben ingebouwd goed bestudeerd. We hebben een selectie gemaakt uit het corpus dat GPT-NL openbaar heeft gemaakt. Verder hebben we wezenlijk andere keuzes gemaakt. Onze basis is Apertus, een Zwitsers model.’
'Laat AI-talenten met elkaar samenwerken, dan kunnen we veel bereiken'
- Seleman Arefi
Lean en slim
Toch is de bedoeling van Arefi en Currie niet om GPT-NL uit de markt te concurreren, of te beweren dat de organisatie achter GPT-NL het niet goed doet. Currie: ‘We zijn benieuwd naar hun reactie op ons model.’
Volgens hem ligt de bredere kans vooral in samenwerking binnen Nederland. Arefi vult aan: ‘We zien dat er in Nederland veel AI-talent is en redelijk wat resources. Laat die talenten nou eens met elkaar samenwerken, is ons idee. We moeten opboksen tegen het grote Amerika, waar miljarden dollars beschikbaar zijn. Als wij lean en slim kunnen werken, zonder elkaar als concurrenten te zien, dan moeten we veel kunnen bereiken.’
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee