Namecheap-sites gaan 15 uur offline na koelingsprobleem in Phoenix-datacenter; 410.000 zonder stroom in Noord-Illinois

Een mechanische storing in een enkel Phoenix datacenter heeft websites, e-mail en controlepanelen voor een groot deel van donderdag offline gehaald, in een incident dat veel verder reikte dan de klanten van één provider. Apart daarvan zorgden zware stormen ervoor dat ongeveer 410.000 ComEd-klanten in het noorden van Illinois zonder stroom kwamen te zitten, terwijl de medewerkers van het nutsbedrijf dagen later nog delen van het netwerk herstelden.

Een koelingsprobleem in Phoenix haalde hosting, e-mail en DNS-beheer offline

Engadget meldde dat Namecheap de onderbreking toeschreef aan "een falen van koelsystemen" in zijn Phoenix datacenter, waarbij hostingplannen, EasyWP, DNS en e-mailclients werden beïnvloed, evenals de eigen website van het bedrijf. CEO Hillan Klein zei op X dat het bedrijf op basis van de omstandigheden op dat moment verwachtte de klantendiensten rond ongeveer 15:00 uur tot 15:30 uur ET weer online te brengen. De PhoenixNAP-faciliteit meldde "verhoogde temperatuur in witte ruimtes" na schade door zware stormen die 's nachts in de stad plaatsvonden.

Het herstel duurde aanzienlijk langer dan die eerste schatting. TechRadar Pro meldde dat het incident ongeveer 15 uur duurde om volledig te repareren: problemen begonnen ongeveer rond het middaguur ET, twee van de vier koelmachines van de faciliteit werden weer in gebruik genomen, de kern-databases kwamen rond 17:30 uur ET weer online, en de volledige service werd hersteld om 03:50 uur ET. Omdat de eigen helpdesk van het bedrijf ook werd beïnvloed, konden de ondersteuningsmedewerkers tijdens de storing niet reageren op live chat en e-mail. Klein zei dat het bedrijf een rapport zou publiceren waarin werd uiteengezet "wat tot deze situatie heeft geleid, waar onze bestaande waarborgen en protocollen faalden, hoe we hebben gereageerd," en vertelde de klanten: "we hebben je vandaag gefaald."

Het incident was niet beperkt tot één merk. HostingJournalist meldde dat de faciliteit wordt beheerd door RadiusDC, met phoenixNAP als huurder, en dat Hosting.com afzonderlijk meldde dat servers op zijn Phoenix-locatie niet beschikbaar waren. Namecheap zei dat DNS-resolutie bleef werken terwijl DNS-beheer werd beïnvloed - een onderscheid dat belangrijk is, omdat het sommige klanten online liet maar hen verhinderde iets te veranderen. Het herstel werd opzettelijk gefaseerd: fysieke netwerkinfrastructuur eerst, vervolgens virtuele netwerkinfrastructuur, en daarna klantendiensten.

Voor iedereen die tegelijk van een enkele provider afhankelijk is voor hosting, e-mail en DNS-beheer, is de praktische les dat deze functies een faalgebied kunnen delen, ook al lijken ze op afzonderlijke producten. Je kunt de betrokken services volgen op de Status Is Down-pagina's voor Namecheap en Hosting.com, of de bredere web- en cloudhosting, domeinregistrar en webmail categorieën doorbladeren.

Stormen in Noord-Illinois lieten 410.000 zonder stroom, met herstel dat in het weekend doorging

Zware stormen eerder in de week zorgden ervoor dat een veel groter aantal klanten in het noorden van Illinois zonder stroom kwam te zitten, en de nutsbedrijven waren op donderdag nog steeds delen van het netwerk aan het herstellen.

De Chicago Tribune meldde dat ongeveer 52.000 klanten in de omgeving van Chicago, vooral in de zuidelijke en zuidwestelijke voorsteden, rond 15:00 uur donderdag nog zonder stroom zaten. Jeremy Smith, vice-president distributieoperaties bij ComEd, zei dat hij verwachtte dat ongeveer 99% van de klanten tegen 23:00 uur op zaterdag hersteld zou zijn, en voegde eraan toe: "Er zullen plekken zijn die tot zondag doorlopen." De burgemeester van Homewood, Rich Hofeld, zei dat het nutsbedrijf hem had verteld dat ongeveer 58% van het dorp die ochtend zonder stroom zat, terwijl het gemeentehuis met een minimaal personeel draaide en geen airconditioning had.

Shaw Local's The Herald-News meldde het totale cijfer: bijna 410.000 ComEd-klanten verloren stroom, waarvan 85% tegen de late middag was hersteld. Alleen al in Will County zei ComEd-woordvoerder David O'Dowd dat meer dan 105.000 klanten op het hoogtepunt werden beïnvloed, wat tegen het einde van donderdagmiddag terugviel naar iets meer dan 11.000 - een herstelsnelheid van 89%. De commerciële gevolgen waren tastbaar: een tankstation in Joliet deed drie dagen alleen contante betalingen, kon zonder stroom geen brandstof verkopen, noteerde verkopen op papier en beperkte de openingsuren tot alleen daglicht.

Illinois heeft een buitengewone stormseizoens-periode. ComEd beschreef dit als het 20e belangrijke weersevenement van het jaar, en de National Weather Service vertelde de Tribune dat de staat op weg is naar 200 tornado's in één jaar, tegen een gemiddelde van 54 per jaar tussen 1990 en 2020. Je kunt het nutsbedrijf volgen op de Status Is Down ComEd-pagina of in de energie-, elektriciteits- en gas categorie.

Diensten monitoren waarvan je afhankelijk bent

Beide incidenten begonnen met fysieke infrastructuur - een koelinstallatie en een door storm beschadigd distributienetwerk - en beide waren zichtbaar voor klanten lang voordat ze werden uitgelegd. Status Is Down volgt gerapporteerde onderbrekingen in duizenden diensten en websites, zodat je kunt zien wanneer iets waarvan je afhankelijk bent begint te falen, in plaats van het te ontdekken via een statuspagina achteraf. Je kunt live activiteiten bekijken op de real-time uitvalsvsoen, de website-directory en de service-directory doorzoeken, eerdere rapportages lezen in het artikelenarchief, plannen en prijzen vergelijken, en een account aanmaken om de specifieke diensten te volgen die belangrijk zijn voor jouw werk.

Bronnen

• Engadget — Hostingprovider Namecheap is offline na een koelingsprobleem in het datacenter
• TechRadar Pro — 'We hebben je vandaag gefaald': Namecheap is enkele uren offline na een koelingsprobleem in het datacenter
• HostingJournalist — Namecheap, Hosting.com getroffen door storing in Phoenix-datacenter
• Chicago Tribune — ComEd zei dat de meeste elektriciteit tegen zaterdagavond in Southland hersteld moet zijn
• Shaw Local, The Herald-News — Hete dagen, donkere nachten en bedorven voedsel: Wachten in Will County op de terugkeer van elektriciteit na de storm