OpenAI lanceert gratis AI-modellen die op je desktop werken

OpenAI heeft met de lancering van de open-weight modellen GPT-OSS 120B en GPT-OSS 20B een opvallende stap gezet: niet alleen zijn dit de eerste modellen die gratis te gebruiken zijn sinds GPT-2, ze zijn ook geoptimaliseerd voor gebruik op eenvoudigere hardware zoals desktops met voldoende geheugen.

16 GB geheugen vereist

Waar hebben we het dan over, als we het over 'eenvoudigere hardware' hebben? In ieder geval geen tonnen kostende Nvidia chip met bijpassende server met locatie in een datacenter. Het lichtere model, GPT-OSS 20B, kan namelijk al draaien op een systeem met 16 GB videogeheugen. Een beetje goed geconfigureerde MacBook Pro zou dit al aan moeten kunnen.

Het zwaardere model, GPT-OSS 120B, vereist minimaal 80 GB aan VRAM. Daarmee is hij in theorie nog steeds inzetbaar op krachtige lokale systemen of dedicated servers, maar of dat realistisch is, valt te betwijfelen.

Dat OpenAI het voor elkaar heeft gekregen om deze kleinere AI's werkend te krijgen op voor iedereen bereikbare hardware, is te danken aan het zogenoemde MoE, ofwel Mixture of Experts. Door dit toe te passen, gebruik het AI-model in kwestie slechts een gedeelte van de capaciteit door de gegeven opdracht in delen te breken en bij de desbetreffende 'experts' (een deel van het AI-model) neer te leggen voor afhandeling. 

Haken en ogen

Hoewel OpenAI claimt dat beide kleinere modellen op een vergelijkbaar niveau presteren als hun grotere online broertjes o3 en 04-mini, hebben ze toch wat minder functionaliteiten meegekregen. Zo kunnen de gratis modellen niet multimodaal werken. Dat wil zeggen dat ze enkel en alleen met tekst overweg kunnen en dus bijvoorbeeld geen afbeeldingen kunnen analyseren of genereren.

Ook moet je er rekening mee houden dat de kleinere AI's op lokale hardware lang niet zo snel zullen zijn als de varianten die OpenAI in gigantische datacenters laat draaien. Daartegenover staat wel dat je zelf de privacy in handen hebt, niet afhankelijk bent van een internet- en API-verbinding en ook niet per token hoeft te betalen. 

OpenAI plaatst zelf ook nog een kanttekening bij het gebruik van de nieuwe modellen. Het bedrijf geeft namelijk aan dat het er alles aan gedaan heeft om ze zo veilig mogelijk in gebruik te maken. Dat houdt in dat ze als het ware tot ene bepaalde hoogte gecensureerd zijn om kwaadaardig gebruik door bijvoorbeeld cybercriminelen tegen te gaan.