Netwerkupgrade bracht Amazons cloud op de knieën

2 mei 2011
Een verkeerd uitgevoerde netwerkupgrade. Dat was de oorzaak van een langdurige storing in Amazons Elastic Compute Cloud, die tien dagen geleden begon. Gedupeerde klanten krijgen een vergoeding, laat Amazon weten.

Uit een uitgebreide verslaglegging op Amazons website blijkt dat de storing in Amazons ‘Infrastructure-as-a-Service’-dienst begon toen technici een netwerkupgrade uitvoerden in een van de regio’s waarin Amazon zijn clouddienst heeft onderverdeeld. De aanpassing bracht het replicatiemechanisme van de gegevens die applicaties bewerken danwel genereren in de war.

Normaal gesproken worden de gegevens in de zogeheten Elastic Block Storage-volumes automatisch gekopieerd naar een tweede locatie. Als bij dat repliceren van data een storing wordt geconstateerd, gaat het knooppunt dat de kopieeractie uitvoert automatisch op zoek naar een andere locatie om de gegevens te repliceren.

Verwijzing naar de verkeerde router
Amazon heeft zijn capaciteit in de cloud zo geconfigureerd dat dat switchen naar een andere locatie voor replicatiegegevens gewoonlijk een kwestie van millisecondes is. Bij de netwerkupgrade werd een aantal EBS-nodes echter voorzien van een verwijzing naar een verkeerde router. Daardoor raakten ze het contact met de kopieën van hun gegevens kwijt, en gingen de getroffen opslagblokken allemaal gelijktijdig op zoek naar een alternatieve locatie. Dat volume kon het netwerk waarnaar de router ze verwees niet aan, en dat was de basis voor een keten van problemen in Amazons cloud. De oplossing daarvan kostte de technici enkele dagen.

In de uitleg biedt Amazon excuses aan en belooft het beterschap. Het zal de procedures bij werkzaamheden aan zijn infrastructuur nog eens onder de loep nemen en waar nodig herzien. Ook zal het klanten voortaan beter op de hoogte houden, met name waar het gaat om details van de storing en de verwachte herstelduur.

Wel gratis computertijd, geen vergoeding gevolgschade
Getroffen klanten krijgen ter compensatie 10 dagen gratis gebruik van Amazons cloud. Over vergoeding van de gevolgschade – zoals de gemiste omzet van webwinkels die de Elastic Compute Cloud gebruiken – rept Amazon niet.

Lees meer over
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.