Prestaties machine learning beter te vergelijken

Er is bovendien behoefte aan een verdere ontwikkeling van de prestaties. Ng verwacht dat de standaarden een nieuwe impuls geven aan de ontwikkeling van systemen die zijn geoptimaliseerd voor AI-taken.

Hij baseert die verwachting op vergelijkbare specificaties die voor de traditionele computers zijn vastgelegd in de Standard Performance Evaluation Corporation (SPEC). Sinds de publicatie in 1988 zijn de prestaties van chips toegenomen met een factor 1,6 per jaar.

Brede steun voor het initiatief

Ng heeft de steun van een aantal grote bedrijven zoals AMD, Intel, Google en Baidu, en van een aantal toonaangevende universiteiten zoals Harvard, Stanford, en de University of California. Op 31 juli sluit de termijn voor leveranciers die hun eigen resultaten willen delen in het project. Voor de totstandkoming van MLPerf gaat de organisatie gebruik maken van de ervaringen met andere standaarden. Het team wil verder de ontwikkeling van de standaarden op een moderne manier laten plaatsvinden. Zo is gelijk een eerste concept gepubliceerd op Github zijn en betrokkenen uitgenodigd hun ervaringen te delen. Die dan weer worden gebruikt voor nieuwe verbeterde versies van MLPerf.

Details over het standaardiseringsproces zijn te vinden op mlperf.org