Сайты Namecheap отключились на 15 часов после сбоя в системе охлаждения дата-центра в Финиксе; 410,000 остались без электричества на севере Иллинойс

Механический сбой в одном дата-центре Финикса отключил веб-сайты, электронную почту и панели управления от интернета на большую часть четверга, в инциденте, который затронул клиентов не одного провайдера. Отдельно, сильные штормы оставили примерно 410,000 клиентов ComEd без электричества на севере Иллинойса, и рабочие коммунальных служб все еще восстанавливают части сети спустя несколько дней.

Сбой охлаждения в Финиксе отключил хостинг, электронную почту и управление DNS

Engadget сообщил, что Namecheap приписал сбой "системам охлаждения" в своем дата-центре в Финиксе, при этом пострадали хостинг-планы, EasyWP, DNS и клиенты электронной почты, а также собственный сайт компании. Генеральный директор Хиллан Клейн заявил в X, что, основываясь на условиях в тот момент, компания ожидала восстановления серверов обслуживания клиентов примерно в 15:00-15:30 по восточному времени. Сооружение PhoenixNAP сообщило о "высоких температурах в белом пространстве" после повреждений от сильных ночных штормов в городе.

Восстановление заняло гораздо больше времени, чем первоначальная оценка. TechRadar Pro сообщил, что инцидент полностью восстановили за около 15 часов: проблемы возникли примерно в полдень по восточному времени, два из четырех чиллеров на объекте были возвращены в работу, основные базы данных восстановились примерно в 17:30 по восточному времени, а полное обслуживание было восстановлено в 3:50 по восточному времени. Поскольку собственная служба поддержки компании тоже была затронута, сотрудники поддержки не смогли ответить на живой чат и электронную почту в течение сбоя. Клейн сказал, что компания опубликует пост-мортем, охватывающий "то, что к этому привело, где наши существующие меры предостережения и протоколы провалились, как мы отреагировали," и сообщил клиентам: "мы провалили вас сегодня."

Инцидент не ограничивался одним брендом. HostingJournalist сообщил, что объект управляется RadiusDC, а phoenixNAP является арендатором, и что Hosting.com отдельно сообщил о недоступных серверах на своем объекте в Финиксе. Namecheap сказал, что разрешение DNS продолжало работать, в то время как управление DNS было затронуто — это важное различие, поскольку оно оставило некоторых клиентов онлайн, но не могущих внести изменения. Восстановление происходило поэтапно: сначала физические сетевые устройства, затем виртуальная сетевая инфраструктура, затем клиентские сервисы.

Для всех, кто зависит от одного провайдера для хостинга, электронной почты и управления DNS одновременно, практический урок в том, что эти функции могут разделять область сбоя, даже когда они выглядят как отдельные продукты. Вы можете следить за задействованными услугами на страницах Status Is Down для Namecheap и Hosting.com, или просмотреть более широкие категории веб и облачного хостинга, регистраторов доменов и веб-почты.

Штормы на севере Иллинойса оставили 410,000 без электричества, восстановление затянулось на выходные

Сильные штормы ранее на неделе отключили электричество намного большему количеству клиентов на севере Иллинойса, и коммунальные рабочие все еще восстанавливали части сети в четверг.

Chicago Tribune сообщил, что примерно 52,000 клиентов в районе Чикаго, в основном на юге и юго-западных пригородах, оставались без электричества по состоянию на 15:00 в четверг. Джереми Смит, вице-президент ComEd по операциям распределения, заявил, что ожидает, что около 99% клиентов будут восстановлены к 23:00 в субботу, добавив: "Будут участки, которые продлиться до воскресенья." Мэр Хомвуда Рич Хофелд сказал, что коммунальные службы сообщили ему, что примерно 58% деревни оставались без электричества этим утром, а в Мэрии работал минимальный персонал и не было кондиционеров.

Shaw Local’s The Herald-News сообщил о территориальных данных: почти 410,000 клиентов ComEd потеряли электричество, 85% восстановлено к позднему дню. В округе Уилл представитель ComEd Дэвид О’Дауд сказал, что на пике было затронуто более 105,000 клиентов, но к вечеру четверга это число сократилось до чуть более 11,000 — восстановление составило 89%. Коммерческие последствия были ощутимыми: автозаправочная станция в Джолиете продолжала работать только за наличные третий день, не могла вносить топливо вообще без электроэнергии, делала продажи на бумаге и сократила часы работы до дневного света.

Иллинойс переживает необычный сезон штормов. ComEd описал это как свое 20-е крупное погодное событие года, а Национальная метеорологическая служба сообщила Tribune, что штат подходит к 200 торнадо за один год, по сравнению со средним показателем в 54 ежегодно с 1990 по 2020 годы. Вы можете отслеживать коммунальное предприятие на странице Status Is Down ComEd или в категории энергия, электричество и газ.

Мониторинг услуг, от которых вы зависите

Оба инцидента начались с физической инфраструктуры — завода по охлаждению и поврежденной штором распределительной сети — и оба были видны клиентам задолго до того, как их объяснили. Status Is Down отслеживает сообщения о сбоях по тысячам услуг и веб-сайтов, чтобы вы могли видеть, когда что-то, на что вы полагаетесь, начинает выходить из строя, а не узнавать об этом из страницы статуса после события. Вы можете наблюдать за активностью в режиме реального времени на видео о сбоях в реальном времени, искать каталог веб-сайтов и каталог услуг, читать более ранние отчеты в архиве статей, сравнивать планы и цены и создавать учетную запись, чтобы следить за конкретными услугами, которые важны для вашей работы.

Источники

• Engadget — Провайдер хостинга Namecheap отключен после сбоя системы охлаждения дата-центра
• TechRadar Pro — ‘Мы провалили вас сегодня’: Namecheap отключен на несколько часов после сбоя системы охлаждения дата-центра
• HostingJournalist — Namecheap, Hosting.com пострадали от сбоя в дата-центре Финикса
• Chicago Tribune — ComEd сообщил, что большинство электричества должно быть восстановлено в Southland к субботнему вечеру
• Shaw Local, The Herald-News — Горячие дни, темные ночи и испорченная еда: ожидание восстановления электричества в округе Уилл после шторма