Strony Namecheap były niedostępne przez 15 godzin po awarii chłodzenia w centrum danych Phoenix; 410 000 osób straciło prąd w północnym Illinois

Awarie mechaniczne w jednym centrum danych w Phoenix spowodowały usunięcie stron internetowych, poczty elektronicznej i paneli sterujących z internetu przez dużą część czwartku, w incydencie, który sięgał daleko poza klientów jakiegokolwiek jednego dostawcy. Oddzielnie, silne burze pozbawiły prądu około 410 000 klientów ComEd w północnym Illinois, a ekipy energetyczne nadal odbudowywały części sieci dni później.

Awarie chłodzenia w Phoenix spowodowały niedostępność hostingu, poczty elektronicznej i zarządzania DNS

Engadget podał, że Namecheap przypisał zakłócenia do „awarii systemów chłodzenia” w swoim centrum danych w Phoenix, z planami hostingu, EasyWP, klientami DNS i poczty e-mail dotkniętymi, wraz z własną stroną internetową firmy. Dyrektor generalny Hillan Klein powiedział na X, że na podstawie warunków na miejscu firma przewidywała przywrócenie usług dla klientów około godziny 15:00 do 15:30 ET. Obiekt PhoenixNAP zgłosił „podwyższone temperatury białej przestrzeni” po uszkodzeniach spowodowanych ciężkimi burzami nocą w mieście.

Przywrócenie trwało znacznie dłużej niż początkowo szacowano. TechRadar Pro poinformował, że incydent naprawiano przez około 15 godzin: problemy pojawiły się około południa ET, dwa z czterech chłodziarek obiektu wróciły do pracy, podstawowe bazy danych wróciły około 17:30 ET, a pełna usługa została przywrócona o 3:50 ET. Ponieważ własna pomoc techniczna firmy została dotknięta, pracownicy wsparcia nie byli w stanie odpowiedzieć na czat na żywo ani emaile podczas awarii. Klein powiedział, że firma opublikuje analizę pokontrolną, obejmującą „co do tego doprowadziło, gdzie nasze istniejące zabezpieczenia i protokoły zawiodły, jak zareagowaliśmy,” i powiedział klientom: „dzisiaj wam zawiedliśmy.”

Incydent nie był ograniczony do jednej marki. HostingJournalist zgłosił, że obiekt jest obsługiwany przez RadiusDC, a phoenixNAP jest najemcą, a Hosting.com oddzielnie zgłosiło brak dostępności serwerów w swojej lokalizacji w Phoenix. Namecheap powiedział, że rozwiązywanie DNS nadal działało, podczas gdy zarządzanie DNS zostało dotknięte — co jest istotnym wyróżnieniem, ponieważ pozostawiło niektórych klientów online, ale niezdolnych do wprowadzenia jakichkolwiek zmian. Przywracanie było przeprowadzane celowo: najpierw fizyczne urządzenia sieciowe, następnie wirtualna infrastruktura sieciowa, a potem usługi klienta.

Dla każdego, kto polega na jednym dostawcy do hostingu, poczty e-mail i zarządzania DNS jednocześnie, praktyczną lekcją jest to, że te funkcje mogą dzielić obszar awarii, nawet gdy wyglądają jak oddzielne produkty. Możesz śledzić usługi zaangażowane na stronach Status Is Down dla Namecheap i Hosting.com, lub przeglądać szersze kategorie hosting internetowy i chmurowy, rejestratorów domen i poczty internetowej.

Burze północnego Illinois pozbawiły prądu 410 000 osób, z przywracaniem trwającym aż do weekendu

Silne burze na początku tygodnia pozbawiły prądu znacznie większą liczbę klientów w północnym Illinois, a ekipy energetyczne nadal odbudowywały części sieci w czwartek.

Chicago Tribune poinformował, że około 52 000 klientów z obszaru Chicago, głównie w południowych i południowo-zachodnich przedmieściach, nadal było bez prądu o godzinie 15:00 w czwartek. Jeremy Smith, wiceprezydent ds. operacji dystrybucji ComEd, powiedział, że oczekuje, że około 99% klientów zostanie przywrócone do soboty do godziny 23:00, dodając: „Będą kieszenie, które potrwają do niedzieli.” Burmistrz Homewood, Rich Hofeld, powiedział, że utility poinformowało go, że około 58% wioski nadal pozostaje bez prądu tego ranka, a w ratuszu pracowała skromna obsada bez klimatyzacji.

Shaw Local's The Herald-News raportował całkowitą liczbę na obszarze: prawie 410 000 klientów ComEd straciło prąd, z 85% przywróconym do późnego popołudnia. Tylko w hrabstwie Will, rzecznik ComEd David O'Dowd powiedział, że więcej niż 105 000 klientów było dotkniętych w szczycie, spadając do nieco ponad 11 000 do późnego popołudnia w czwartek — wskaźnik przywracania na poziomie 89%. Efekty komercyjne były namacalne: stacja benzynowa w Joliet handlowała tylko gotówką przez trzeci dzień, nie mogła sprzedawać paliwa wcale bez prądu, rejestrowała sprzedaż na papierze i skróciła godziny pracy tylko do światła dziennego.

Illinois ma niezwykle burzowy sezon. ComEd opisał to jako swoje 20. poważne zdarzenie pogodowe w roku, a Krajowa Służba Pogodowa poinformowała Tribune, że stan zbliża się do 200 tornad w ciągu jednego roku, w porównaniu do średniej 54 rocznie między 1990 a 2020 rokiem. Możesz śledzić utility na stronie Status Is Down strona ComEd lub w kategorii energia, elektryczność i gaz.

Monitorowanie usług, na których polegasz

Oba incydenty rozpoczęły się od infrastruktury fizycznej — zakładu chłodniczego i uszkodzonej przez burze sieci dystrybucyjnej — i obie były widoczne dla klientów długo przed tym, jak zostały wyjaśnione. Status Is Down śledzi zgłoszone zakłócenia w tysiącach usług i stron internetowych, abyś mógł zobaczyć, kiedy coś, na czym polegasz, zaczyna zawodzić, zamiast dowiadywać się z strony statusu po fakcie. Możesz śledzić aktywność na żywo na widoku awarii w czasie rzeczywistym, przeszukiwać katalog stron internetowych i katalog usług, czytać wcześniejsze raporty w archiwum artykułów, porównywać plany i ceny, oraz założyć konto, aby śledzić konkretne usługi, które mają znaczenie dla twojej pracy.

Źródła

• Engadget — Dostawca hostingu Namecheap jest niedostępny po awarii chłodzenia w centrum danych
• TechRadar Pro — 'Zawiedliśmy cię dzisiaj': Namecheap był niedostępny przez kilka godzin po awarii chłodzenia w centrum danych
• HostingJournalist — Namecheap, Hosting.com dotknięte awarią centrum danych w Phoenix
• Chicago Tribune — ComEd powiedział, że większość prądu powinna być przywrócona w Southland do sobotniej nocy
• Shaw Local, The Herald-News — Gorące dni, ciemne noce i zepsuta żywność: Czekając w hrabstwie Will na powrót energii po burzy