Meta claimt grote stap met tien keer energiezuinigere tekstrobot dan GPT-3

Meta sorteert bovendien voor op een andere ontwikkeling. Waar de grote techbedrijven tot nog toe de kaarten stevig tegen de borst hielden als het gaat om de gebruikte technologie, heeft Meta LLaMA getraind op publiek beschikbare datasets. Dat zou kunnen beteken dat Meta de mogelijkheid heeft het model als open source beschikbaar te stellen, constateert Ars Technica. Zover is het nog niet, blijkt uit een tweet van Guillaume Lample, een van de teamleden van LLaMA bij Meta. Hij zegt dat het werk van zijn team compatibel is met opensourcing en reproduceerbaar, terwijl de data die gebruikt worden voor natuurlijke taalmodellen zoals GPT-3, Chinchilla en PaLM niet publiek beschikbaar zijn of ongedocumenteerd.

Meta rukt op vanuit achterhoede

Meta lijkt in de strijd met Microsoft en Google nog niet op hetzelfde niveau van bruikbaarheid te zitten. Het bedrijf heeft het over LLaMA als een 'foundational model'. Met afgeleiden daarvan kunnen in de toekomst meer specifieke toepassingen worden ontwikkeld voor het beantwoorden van vragen en het begrijpen van natuurlijke taal.

Wat betreft de basis hoeft Meta zich echter niet te schamen. In feite heeft Meta zelfs een serie LLaMA-modellen die variëren van 7 tot 65 miljard parameters. Het aantal parameters is een maat voor de complexiteit van het natuurlijk taalmodel. Nu claimt Meta dat LLaMA 13B - met dus 13 miljard parameters - in de benchmarks beter presteert dan GPT-3 met 175 miljard parameters. LLaMA 13B kan bovendien werken op een enkele CPU, terwijl de afgeleiden van GPT-3 racks vol servers in een datacenter nodig hebben. 

In potentie levert de stap die Meta nu zet, de mogelijkheid op om dergelijke taalmodellen in de toekomst ook op pc's of smartphones te gebruiken.