Kritiek van Intel, IBM op super-top 500

Dat wilden medewerkers van IBM en Intel niet onweersproken laten. "De top 500 gebruikt een kunstmatig probleem – het meet 80 procent van de werkbelastingen, die normaal gesproken op een supercomputer draaien, niet. Het is geen representatieve benchmark", verklaarde Intels John Hengeveld tegenover Computerworld. IBM’er Turek viel hem bij met: "Het is onduidelijk wat de lijst precies meet."

De kritiek van IBM en Intel afdoen als hartzeer van de slechte verliezer zou hun argumenten geen recht doen. De top 500 komt nu tot stand op basis van 1 benchmark, de Linpack-test. Dat is een verzameling in de programmeertaal Fortran geschreven routines die lineaire vergelijkingen oplossen. Dat type probleem leent zich goed voor parallellisatie. "De benchmark meet vooral hoe goed je veel processors parallel aan hetzelfde probleem kunt laten rekenen", aldus Hengeveld. En juist daarbij helpt de inzet van grafische processors enorm.

Voor lang niet alle problemen waar supercomputers mee worden gevoed, is de ruwe rekenkracht die Linpack meet de enige, of zelfs de hoofdbepalende. Bovendien meet Linpack niet hoe snel de supercomputer gegevens weet uit te wisselen met het geheugen – een steeds belangrijker gegeven bij de groeiende datasets die supercomputers te verwerken krijgen. Juist ook bij de grafische processors - die geheel geoptimaliseerd zijn op doorvoer – wordt dat een uitdaging, gaf Dally gisteren ook toe.

De High Performance Computing-gemeenschap heeft inmiddels overigens ook al andere benchmarks ontwikkeld. Zo bestaat er al enige tijd de HPC Challenge, die op een zevental benchmarks vergelijkt. Sinds kort is er de Graph500, die de prestaties meet bij gegevensintensieve superapplicaties. En Wu Feng van de universiteit Virginia Tech maakt de Green500-ranglijst op basis van het energieverbruik – niet onbelangrijk bij systemen die soms al de hoeveelheid elektriciteit van een kleine energiecentrale opslorpen.

Die maten leggen het nog steeds af tegen de Linpack. Lang niet alle eigenaren van supercomputers willen tijd besteden aan het uitvoeren van deze benchmarks. Alleen bij de Green 500 is er een volledige lijst; bij de andere doet een heel beperkt clubje mee. En belangrijker nog: de alternatieve benchmarks missen de aantrekkingskracht van die ene maat die zo helder de ruwe rekenkracht van de supercomputer representeert.