Hyves’ IT-infrastructuur groeit razendsnel

11 februari 2011

Hyves is nu een begrip in Nederland, maar zeven jaar geleden bestond het bedrijf nog niet eens. Sinds de oprichting in oktober 2004 is Hyves explosief gegroeid. Begin 2011 telde Hyves 10,9 miljoen leden, waarvan 9,2 miljoen in Nederland. De leden kunnen bij Hyves een profiel aanmaken, berichten (‘krabbels’) met vrienden uitwisselen, foto’s en video’s plaatsen, discussiëren, chatten, bloggen, gamen en nog veel meer. Dat alles voorziet kennelijk in een grote behoefte.

Dagelijks ontvangt de site volgens comScore 3,3 miljoen bezoekers van 15 jaar en ouder, die evenveel krabbels per etmaal produceren. In december 2010 werd een recordaantal van 8,6 miljoen unieke bezoekers bereikt. Gemiddeld vinden dagelijks 1 miljoen foto-uploads plaats. Van alle bekeken webpagina’s in Nederland staat 16 procent op Hyves.

Kosten in de hand houden“Een van de grootste uitdagingen voor een sociaal netwerk zoals Hyves is dat de groei heel erg hard kan gaan. Om dat te faciliteren heb je eenzelfde groei van het aantal servers nodig, waarbij de kosten even hard toenemen”, vertelt chief technology officer (CTO) Koen Kam. Probleem met zo’n lineaire groei is dat de kosten meestijgen met het aantal klanten en nog harder groeien als die klanten ook steeds intensiever gebruikmaken van de infrastructuur. Door de ‘total cost of ownership’ (TCO) te optimaliseren, probeert Hyves de kostencurve naar beneden om te buigen.

De befaamde Wet van Intel-grondlegger Gordon Moore, die luidt dat het aantal transistors op een chip elke achttien maanden verdubbelt, speelt Hyves daarbij in de kaart. Vertaald in hedendaagse processortechnologie betekent Moore’s Law dat processors meer ‘cores’ krijgen die samen een hogere performance bieden voor minder geld. Hyves is daardoor in staat op een bepaald moment honderd servers te kopen en 18 tot 24 maanden later veertig nieuwe servers die evenveel of zelfs meer capaciteit hebben. Kam: “Daar kun je twee dingen mee doen: autonome groei blijven faciliteren en nieuwe functionaliteit toevoegen aan het platform.” Een voorbeeld van dat laatste is dat de leden steeds meer video gebruiken. Ook het ruimtebeslag per foto wordt steeds groter.

Dankzij het steeds compacter worden van servers verandert ook het ruimtebeslag in het datacentrum. Waar Hyves vroeger bijvoorbeeld vijf kasten (‘cabinets’) met servers nodig had, elk met een capaciteit van 42U (unit: een inbouwmaat van 1,75 inch = 4,45 cm hoog), kan men nu met minder dan de helft toe. “Dit betekent dat je minder vierkante meters inneemt in het datacentrum en dus goedkoper uit bent. Bovendien leveren die servers een betere performance en zijn ze energiezuiniger. Op die manier kunnen we onze kosten beheersen”, aldus Kam.

Vooralsnog Intel-processorsHyves gebruikt al zo’n jaar of drie geen servers met AMD-processors meer. Kam erkent dat AMD momenteel wel in staat is meer cores op een CPU te ‘prakken’ dan Intel, maar voor Hyves speelt de performance van de individuele kernen minstens zo’n belangrijke rol. “De snelheid waarmee een pagina wordt gerenderd is voor ons van essentieel belang. Het creëren van pageviews gebeurt door middel van php-processen op een webserver. Elk php-proces wordt op één core afgehandeld. Hoe sneller we dat doen, hoe eerder mensen geneigd zijn nog een andere pagina te bekijken”, aldus Kam. Hij sluit echter niet uit dat Hyves bijvoorbeeld een nieuwe serverlijn met AMD-processors van Dell op de proef stelt om energieverbruik en performance te meten.

Ook kijkt de technische baas van Hyves met spanning uit naar andere ontwikkelingen op de processormarkt, in het bijzonder rond de ARM-achitectuur. ARM heeft onlangs de Cortex-A15 aangekondigd, een zeer energiezuinige dualcoreprocessor die niet alleen voor mobiele maar ook voor vaste apparatuur is bedoeld. Maar of het een haalbare kaart is, kan hij nu nog niet beoordelen.

Niet alleen de microprocessor, ook slimme oplossingen van de computerfabrikant bepalen volgens Kam hoe energiezuinig de servers zijn die Hyves gebruikt. In 2010 bracht Intel een nieuwe generatie van zijn Xeon-processor (codenaam Westmere) op de markt. Dell paste deze toe in een nieuw model server, de CloudEdge 6100, waarbij vier ‘blades’ in een 2U-chassis zitten. Iedere blade bevat weer twee Xeon L5640-processors, die voor Hyves extra aantrekkelijk zijn omdat ze webpagina’s 20 procent sneller ‘renderen’ dan de eerder gebruikte Intel-processors. Kam: “Waar we voorheen vier keer een 1U-doos hadden met elk hun eigen voeding en koeling, hebben we nu in één keer vier van die machines in een 2U-chassis. Daardoor wordt de stroomconversie efficiënter en heb je nog maar een paar ventilators nodig. Door de combinatie van de nieuwe CPU en dat chassis konden we twee keer zoveel pageviews aan en bespaarden we ook nog 40 procent op het stroomverbruik.”

Hyves heeft een “uitstekende” relatie met chipfabrikant Intel, aldus Kam. Daardoor krijgt het Nederlandse internetbedrijf samples van toekomstige processors met de opdruk ‘vertrouwelijk’ toegespeeld, lang voordat serverfabrikanten ze in nieuwe modellen aanbieden. Hyves test en benchmarkt deze chips op het Amsterdamse hoofdkantoor in bestaande systemen van partners als Dell, SGI en Supermicro. Uit die tests rollen bepaalde conclusies over performance en energieverbruik.

“We kunnen dan serverleveranciers uitnodigen en zeggen dat we servers willen met die specifieke CPU, harde schijf en geheugen. Die servers vergelijken we op aanschafprijs, energieverbruik en performance en zo rekenen we de TCO uit. Dan pas kiezen we voor een specifiek product”, legt Kam uit.

1,5 petabyte opslagruimteNaast een zorgvuldige selectie van processors en servermodellen is opslag van mediabestanden cruciaal in de IT-strategie van Hyves. De leden hebben inmiddels meer dan een miljard foto’s geüpload. Niet alleen wordt van alle plaatjes een duplicaat bewaard, ze worden in nog acht andere afmetingen gerenderd voor gebruik op verschillende plaatsen, zoals bij het gebruikersprofiel. “Dat alles zorgt dat we behoorlijk wat opslag nodig hebben. In totaal is 1,5 petabyte beschikbaar”, vertelt Kam.

Leveranciers als EMC en Equalogic vragen weleens waarom Hyves niet één hele grote centrale opslag heeft, want dat zou goed te managen zijn. CTO Kam: “Het probleem is dat we op piektijden – doorgaans maandagavond tussen 7 en 8 uur – ongeveer 25 miljoen pageviews doen. Als je dat via een centrale storage zou laten lopen, met fiber of iSCSI, ontstaan er vaak bottlenecks bij het ophalen van de plaatjes.” Daarom hebben de technici van Hyves voor de mediabestanden een gedistribueerde, energiezuinige storageoplossing gebouwd. “In het verleden bestond deze uit Dell PowerEdge 2950’s, een ‘brick’ met 2U bouwhoogte die zes harde schijven bevatte, met in totaal 4 terabyte. Die gebruikte ongeveer 1,5 ampère.”

Vervolgens kwam Dell met een half zo hoge opslageenheid met twee disks van elk 1 TB. Deze ‘brick’ nam genoegen met 0,98 ampère. Al een hele verbetering, maar het kon nog beter. De storageproducten waren veelal uitgerust met Intel Celeron-processors, wat voor mediaopslag ‘overkill’ is. “Op onze afdeling System Engineering werken heel slimme techneuten”, aldus Kam. “Zij bekeken of het mogelijk was op basis van een andere processor een dichter opeengepakt opslagsysteem te bouwen.” Een zoektocht leverde een OEM-moederbord op met een Intel D510-processor. Daarvan passen er twee in een 1U-chassis. Elk moederbord stuurt twee 3,5 inch-schijven van 1 TB aan. Deze oplossing gebruikt 0,62 ampère. Op die manier hadden we de opslagcapaciteit verdubbeld in dezelfde ruimte terwijl de stroomkosten zijn afgenomen.”

Een belangrijke eis was het op afstand kunnen beheren van de opslagomgeving. Daarvoor wordt het IPMI-protocol gebruikt. Welgeteld één fabrikant in de hele wereld (Supermicro) had een Atom-moederbord in het assortiment met IPMI aan boord. ECOserver, een specialist in de bouw van energiezuinige servers uit Tilburg, kreeg de vraag voorgelegd of zij met het Atom-bord een nog efficiënter systeem konden maken. Dat resulteerde in een 1U-oplossing waar acht harddisks in pasten met slechts één gezamenlijke voeding. Kam: “Zo hadden we de capaciteit van onze storageoplossing nogmaals verdubbeld. En we onderzoeken nu of we met andere moederbordjes dit nog eens kunnen verdubbelen.”

Zware I/O-belastingIn theorie zou Hyves daarnaast grotere harddisks – ze zijn er al van 2 en zelfs 3 TB – kunnen toepassen om zijn storage­omgeving nog dichter opeen te pakken. Probleem daarbij is dat het maximale aantal I/O-operaties per schijf niet evenredig meegroeit. Bovendien zijn de opgevraagde plaatjes behoorlijk ‘random’ over de disks verspreid, waardoor per plaatje vier tot zes I/O-bewerkingen nodig zijn. Caching biedt maar gedeeltelijk soelaas.

“We zijn nu intern aan het kijken of we ons eigen bestandssysteem kunnen schrijven waarbij we ieder plaatje met één I/O-operatie direct van de disk af kunnen halen. Daarvoor is nodig dat in onze media-index staat welk plaatje op welke positie op de disk staat. Zo maken we een optimalisatieslag van een factor 4 tot 6 en kunnen we grotere disks gaan gebruiken,” hoopt Kam. De CTO van Hyves wijst erop dat “grote vriend” Facebook onder de naam Haystack – genoemd naar de spreekwoordelijke naald in de hooiberg – al een soortgelijke ‘object store’ voor foto’s in gebruik heeft genomen.

Virtualisatie werkt nietVirtualisatie is tegenwoordig een beproefd middel om servercapaciteit efficiënter te benutten. Zo niet bij Hyves. De reden is dat er gedurende het etmaal en de week grote schommelingen zitten in het bezoek aan de vriendensite. Daarom is Hyves wel gedwongen zijn systemen te dimensioneren voor piekperformance – op de al genoemde maandagavond rond 8 uur. “De enige reden om virtualisatie te gebruiken, is als je software zelf niet in staat is optimaal gebruik te maken van je systeem”, zegt Kam. “Als bijvoorbeeld twee applicaties allebei 40 procent van de CPU nodig hebben, kun je die consolideren tot één server. Maar op onze piekmomenten is de bezettingsgraad 80 tot 90 procent. Wat valt er dan nog te virtualiseren?” Daar komt bij dat situaties denkbaar zijn waarin de processorcapaciteit maar voor de helft wordt benut, maar daardoor wel de I/O-operaties naar disk volledig zijn bezet. “Dan kun je er wel een ander proces naast zetten, maar als die ook de disk nodig heeft, wordt het heel traag. Dus als een van je resources – processor, disk, I/O, geheugen, netwerk – volledig belast, wordt het heel lastig om te virtualiseren.”

Een uitzondering is de chatomgeving. Daarvoor gebruikte Hyves software die erg slecht gebruikmaakte van multicoreprocessors. Bij het zoeken naar een oplossing heeft de test- en ontwikkelafdeling diverse alternatieven onderzocht. Daarbij bleek het mogelijk achttien ‘instanties’ van het chatplatform te draaien op een systeem met VMware ESX Server 4.

Tegelijk is nog een andere optie bekeken, Linux Containers (LXC). Dit is een vorm van virtualisatie op basis van het besturingssysteem. Er draait slechts één kernel van het OS en met behulp van ‘namespaces’ is het mogelijk aan elk proces bepaalde resources zoals CPU-capaciteit, geheugen en schijfruimte toe te wijzen. “Toen konden we tot 24 instanties van het chatplatform draaien en was de performance ook nog eens beter.”

Achteraf bezien ook wel logisch, vindt Kam. VMware gebruiken voor het type virtualisatie dat Hyves voor ogen stond, betekent dat je bovenop de hypervisor tientallen keren een kernel moet draaien. Dat levert extra overhead op. “En dan hebben we het nog niet eens over de licentiekosten van een VMware- of Xen-oplossing. Linux Containers is gewoon gratis, want het is open source. Dat is ook de spirit van ons system-engineeringteam, om op onze hele serverfarm open source te gebruiken.”

In november 2010 maakte Hyves bekend dat het door de Telegraaf Media Groep wordt overgenomen. De eventuele consequenties daarvan voor de technische infrastructuur zijn nog niet bekend, maar beide partijen verzekerden dat er in elk geval de eerste zes maanden niets verandert.

Gedistribueerd serverpark

Hyves bezit geen eigen datacentra maar heeft zijn circa 3100 servers en storage ondergebracht bij externe partijen. Uit oogpunt van redundantie is gekozen voor spreiding over drie verschillende serviceproviders: EvoSwitch, LeaseWeb en ReasonNet. Deze locaties zijn onderling verbonden in een ‘mesh’-netwerk met een bandbreedte van 10 gigabit.De grootste van het drietal is EvoSwitch in Haarlem, dat er prat op gaat een CO2-neutraal datacentrum te hebben. Dit ‘groene’ karakter was voor Hyves een belangrijke reden om voor EvoSwitch te kiezen. De apparatuur staat er in rijen van 21 cabinets in een zogeheten cold corridor-opstelling.EvoSwitch ondersteunt Hyves bij het verlagen van de ‘total cost of ownership’ (TCO) door maandelijks een overzicht te verstrekken van het energieverbruik per rack. Op die manier kan Hyves ingrijpen als bepaalde apparatuur minder zuinig met elektriciteit omspringt dan mogelijk is.Energiezuinigheid was voor Hyves een belangrijke reden om voor EvoSwitch te kiezen. Daarnaast speelde een rol dat EvoSwitch een directe aansluiting heeft op het internetknooppunt AMS-IX in Amsterdam. Dit levert een snellere verbinding op en Hyves kan gunstiger prijsafspraken maken over het dataverkeer.

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Laat de klantenservice je terugbellen!