Liquid Neural Networks: In AI is groter niet altijd beter
- Energieverbruik neurale netwerken kan fors omlaag
- Autonome auto stuurt beter met 19 dan met 100.000 neuronen
- Aanpak Liquid Neural Networks levert niet overal goede prestaties
- Lees ook: Zo gebruiken cybercriminelen generatieve AI
De verbetering van natuurlijke taalmodellen (LLM) zoals GPT (OpenAI), LaMDA (Google) en LLaMA (Meta), werd tot nog toe gezocht in het vergroten van het aantal knooppunten in het netwerk. Dat werkt maar deels en zorgt bovendien voor een enorme toename van het energieverbruik. Less is more, gaat in sommige opzichten ook op voor neurale netwerken.
De afgelopen weken brak opeens een nieuwe naam door tussen het indrukwekkende aantal afkortingen dat de wereld van kunstmatige intelligentie al rijk is: Liquid Neural Networks (LNN). Liquid heeft in dit geval niets te maken met magische eigenschappen van vloeistoffen, maar meer met dat de knooppunten in het neurale netwerk flexibel en aanpasbaar zijn (vloeibaar) ook nadat het neurale netwerk is getraind. Daarin onderscheiden deze neurale netwerken zich van de neurale netwerken die nu veel toegepast worden voor deep learning en waarop large language models (LLM's)zijn gebaseerd.