Rel groeit rond Google-claim over superieur AI-gebaseerd chipontwerpen

De claim van Google stamt al uit juni 2021. Het arrangeren van vele duizenden componenten op een nieuw chipontwerp is een uitermate complex werkje. Met dit zogeheten 'floorplanning' kunnen specialisten wel maanden bezig zijn, zelfs met de hulp van geautomatiseerd gereedschap. Google publiceerde in het wetenschappelijk tijdschrift Nature een aanpak met een nieuw algoritme dat het klusje binnen zes uur kon opknappen. Google hield echter enkele kaarten tegen de borst in de beschrijving van de methode met commerciële gevoeligheid als argument.

Een van de wetenschappers - Andrew Kahng van de University of California, San Diego (UCSD) - die het artikel voor Nature beoordeelde, zat dat niet lekker en heeft met een team via reverse engineering geprobeerd de onbekende delen van het model te reconstrueren. Daaruit bleek dat het model veel slechter presteerde dan met de gebruikelijke 'menselijke' methode.

Twee verklaringen

The Register - die het verloop van de rel uitgebreid beschrijft - noemt twee oorzaken voor de discrepantie tussen de modellen. Ofwel de reverse engineering heeft niet het juiste resultaat opgeleverd, ofwel Google heeft acties verduisterd die het model veel gunstiger uit de verf laten komen.

Die laatste conclusie wordt aannemelijk gemaakt. Het UCSD-team vond uit dat Google gebruik had gemaakt van software van Synopsys, een bekende maker van softwaretools voor het automatiseren van het ontwerp van elektronica (EDA). Er was weliswaar bekend uit de beschrijving in Nature dat Google gebruik had gemaakt van EDA-tools nadat het nieuwe AI-model klaar was, om het ontwerp te testen en klaar te maken voor fabricage. Maar het team maakt aannemelijk dat Google ook vooraf gebruik heeft gemaakt van EDA-tools om de condities te creëren waarmee het model aan de slag gaat. Daar was echter geen melding van gemaakt in het Nature-artikel.

Interne ruzie over claims

De bevindingen trekken de geclaimde prestaties van het door Google beschreven AI-gereedschap in twijfel. Er zou binnen Google ook ruzie zijn ontstaan over de claim. Een inmiddels ontslagen Google-medewerker had intern ook de prestaties van het algoritme al bekritiseerd.

Die werknemer - Satrajit Chatterjee  - zou echter ook andere medewerkers hebben lastig gevallen. Daarover is een rechtszaak ontstaan waarbij Chatterjee erop wees dat Google op dat moment in onderhandeling was met een bedrijf dat in de rechtbankverslagen wordt aangeduid met 'S. Het zou gaan om een contract ter waarde van 120 miljoen dollar voor het vercommercialiseren van het betreffende algoritme.

Het publiceren van het Nature-artikel waarin de prestaties van het model overdreven werden - en essentiële informatie werd achtergehouden - zou Google op dat moment goed uitkomen. Chatterjee noemde dat onethisch in een e-mail die hij richtte aan Google CEO Sundar Pichai en het hoofd van Google Research, Rahul Sukthankar. Volgens The Register staat de benaming van het bedrijf 'S' voor Synopsys. Zowel Google als Synopsys wilden daarop tegen The Register niet reageren.

Bedrijfseigen middelen niet te controleren

Google heeft wel gereageerd op de bevindingen van het UCSD-team. Deze onderzoekers zouden niet hebben kunnen beschikken over de trainingsdata waarmee Google het model kon voorbereiden op de taak. Ook zouden zij niet gebruik hebben kunnen maken van de hoeveelheid computerkracht die het Google-team wel ter beschikking staat, waardoor de uitkomsten onvergelijkbaar zijn. De Google-onderzoekers gaven wel toe dat de EDA-tools ook vooraf zijn gebruikt. De inzet was echter te onbelangrijk om te noemen in het artikel, zo verklaren zij het weglaten ervan.

Verschillende wetenschappers hebben de gang van zaken inmiddels bekritiseerd en vragen zich in communicatie met The Register af of het eerste Nature-artikel niet misleidend is geweest. Omdat er sprake is van het gebruik van een bedrijfseigen technologie en data, is een gedegen wetenschappelijke controle niet mogelijk. Inmiddels heeft ook Nature gezegd een onderzoek te starten.