Innovatie & Strategie

Artificial Intelligence
Chris Re

Kritische AI-prof gaat tekeer tegen 'model-itis'

"Tweaken aan architectuur en parameters van modellen is tijdverspilling."

Chris Re © Stanford
1 februari 2021

"Tweaken aan architectuur en parameters van modellen is tijdverspilling."

Onderzoekers zouden zich los moeten maken van het technische detailwerk aan neurale netwerken en meer aandacht moeten besteden aan taken op een hoger abstractieniveau, stelt Stanford University-hoogleraar Chris Re. Hij doelt daarmee onder meer op betere mogelijkheden om domeinexpertise toe te kunnen passen bij kunstmatige intelligentie.

Re weet waar hij over praat, signaleert ZDNet. Naast zijn functie als hoogleraar kunstmatige intelligentie richtte hij al vier keer een startup op waarvan hij er twee verkocht aan Apple. In een voordracht voor het Human-Centered Artificial Intelligence Institute van de universiteit zette hij zich nogal fel af tegen zijn collega-onderzoekers aan universiteiten. Hij meent dat zij zich te veel bezig houden met triviale zaken die enkele jaren geleden belangrijk waren. Maar nu dienen zich nieuwe uitdagingen aan.

Sinds het werk aan modellen zoals Google BERT en GPT van OpenAI zijn modellen 'commodities' geworden die je zo van de plank trekt. Het tweaken aan nuances in de architectuur en het finetunen van de hyperparameters noemt Re een "obsessie" van onderzoekers.

Krachtige modellen in verwarring

AI-onderzoekers in het bedrijfsleven werken aan heel andere problematiek, die ook voor academische onderzoekers heel interessant kunnen zijn, met name waar het gaat om het redeneervermogen van AI. Hij legt uit dat het gaat om de "long tail of distributions", de details die zelfs de grote krachtige modellen in verwarring brengen. Waar het misgaat, is in de "subtiele interacties, subtiele dubbelzinnigheden in gebruikte termen". Daar kan veel werk gedaan worden aan "fijnmazig redeneren en kwaliteit".

Om daarmee aan de slag te gaan, is een nieuwe manier nodig om dit soort systemen te bouwen en aandacht voor nieuwe "failure models" voor AI. Re verwees daarvoor ook naar een blog van Andrej Karpathy, een AI-specialist van Tesla die schreef over AI als Software 2.0. Re vindt het zinvoller daarmee aan de slag te gaan dan tijd te verdoen aan "non-jobs for engineers".

Mens centraal zetten

Het doel van Software 2.0 is de mens weer een belangrijke plek te geven in het proces. "Het gaat erom dat de mens centraal staat, en dat barrières worden weggenomen voor de mensen met domeinexpertise die nu moeite hebben de machine daar over te leren. "We moeten alle barrières wegnemen om het voor hen zo makkelijk mogelijk maken zich te richten op creativiteit. Verder moeten we alles daaromheen automatiseren wat geautomatiseerd kan worden."

Lees meer over Innovatie & Strategie OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.