Hittegolf was datacentrum Google in Londen te gortig

Oorzaak en gevolg zijn onduidelijk maar het datacentrum had op de heetste dag in Londen - waarbij de temperaturen opliepen tot 39 graden Celcius - te maken met een hoogst uitzonderlijk voorval waarbij verschillende redundant uitgevoerde koelsystemen tegelijk uitvielen. Het was daardoor onmogelijk een veilige operationele temperatuur in stand te houden, meldt Google in een statusmelding waar The Register over schrijft.

Er zijn wel meer datacentra in de wereld waar de buitentemperatuur dergelijke waarden vaker bereikt, maar in Londen is dat ongebruikelijk en wellicht was het ontwerp van de koeling daar niet op afgestemd. Het gevolg was dat de hele zone binnen de europe-west2-a-regio even na 2 uur 's middags lokale tijd werd uitgeschakeld. Ongeveer 35% van de virtual machines van de hele europe-west2 region draaiden op dat moment daar.

Blunder met routering

Vervolgens werd ook nog een fout gemaakt met de routering. In plaats van de interne routing zo aan te passen dat verkeer niet naar de europe-west2-a-regio werd gestuurd, werd het verkeer opgedragen de hele europe-west2 region te mijden. Beschikbare capaciteit bleef daardoor onbenut wat zijn effect had op de continuïteit van de dienstverlening.

Koeling wilde niet meer opstarten

Ondertussen werkten technici naarstig aan het herstel van de koelsystemen in het Londense datacentrum. Dat lukte bij herhaalde pogingen niet. Pas na 10 uur 's avonds konden de koelsystemen in het datacentrum weer aan. Uiteindelijk duurde het 18 uur en 23 minuten na de uitval voordat de dienstverlening kon worden hersteld. Klanten hadden wel tot 35 uur na de initiële storing last van het incident.

Google belooft de gevolgde procedures opnieuw onder de loep te nemen en aan te passen om herhaling te voorkomen.