Google verandert zoekalgoritme 500 keer per jaar

In de kern schetsen de ontwikkelaars in de video een proces waarbij ze aan de slag gaan als zoekresultaten niet aan de verwachtingen voldoen. Hoe ze dat precies vaststellen, blijft in het midden; duidelijk is wel dat de ervaring van de gebruiker van de zoekmachine leidend is bij alle beoordelingen.

Externe beoordelaars ingeschakeld
Zoekopdrachten die tot suboptimale resultaten leiden worden geanalyseerd; die analyses monden uit in verbetervoorstellen. Verbetervoorstellen worden vervolgens op twee manieren getest: externe beoordelaars met kennis van zaken op het gebied van het onderwerp in kwestie wordt gevraagd om zoekresultaten van het bestaande en het aangepaste algoritme te vergelijken. En daarnaast krijgt een uitsnede uit de populatie Google-gebruikers – de ontwikkelaars spreken van een ‘sandbox’ - de resultaten van het nieuwe algoritme voorgeschoteld. In 2010 deed Google ongeveer 20.000 van dit soort experimenten.

Het oordeel van de externe experts en de ervaringen in de ‘sandbox’ vormen vervolgens de basis voor een beslissing die de directie van het zoekteam neemt na discussie in een vergadering. De cijfers die in de video genoemd worden wekken de indruk dat de lat daar hoog ligt: 500 vernieuwingen op 20.000 experimenten impliceert dat 39 van de 40 voorstellen het niet halen.