Các trang web Namecheap tắt ngấm trong 15 giờ sau sự cố làm mát trung tâm dữ liệu Phoenix; 410,000 người mất điện ở phía Bắc Illinois

Một sự cố cơ khí tại một trung tâm dữ liệu Phoenix đã loại bỏ các trang web, email và bảng điều khiển khỏi internet trong phần lớn ngày thứ Năm, trong một sự việc vượt xa các khách hàng của bất kỳ nhà cung cấp nào. Riêng biệt, các cơn bão nghiêm trọng đã cắt đứt điện cho khoảng 410,000 khách hàng của ComEd tại phía Bắc Illinois, với các nhóm tiện ích vẫn đang xây dựng lại một phần của mạng lưới nhiều ngày sau đó.

Một sự cố làm mát ở Phoenix đã loại bỏ dịch vụ lưu trữ, email và quản lý DNS

Engadget đưa tin rằng Namecheap đã quy trách nhiệm sự gián đoạn này cho "một sự cố của hệ thống làm mát" tại trung tâm dữ liệu Phoenix của mình, với các gói lưu trữ, EasyWP, DNS và khách hàng email bị ảnh hưởng, cùng với trang web của công ty. Giám đốc điều hành Hillan Klein cho biết trên X rằng, dựa trên tình hình vào thời điểm đó, công ty dự kiến sẽ đưa các dịch vụ khách hàng trở lại trực tuyến vào khoảng 3:00 chiều đến 3:30 chiều ET. Cơ sở PhoenixNAP đã báo cáo về "nhiệt độ khoảng trắng tăng cao" sau thiệt hại từ các cơn bão nặng nề vào ban đêm ở thành phố.

Việc khôi phục kéo dài lâu hơn nhiều so với ước lượng ban đầu. TechRadar Pro đưa tin rằng sự cố này mất khoảng 15 giờ để sửa chữa hoàn toàn: các vấn đề xuất hiện khoảng giữa trưa ET, hai trong số bốn máy làm mát của cơ sở đã được đưa trở lại hoạt động, các cơ sở dữ liệu chính quay trở lại vào khoảng 5:30 chiều ET, và dịch vụ hoàn toàn được khôi phục vào lúc 3:50 sáng ET. Vì bàn hỗ trợ của công ty cũng bị ảnh hưởng, nhân viên hỗ trợ không thể trả lời trò chuyện và email trực tiếp trong thời gian ngừng hoạt động. Klein cho biết công ty sẽ công bố một báo cáo sau sự cố về "những gì đã dẫn đến việc này, nơi mà các biện pháp bảo vệ và quy trình hiện có của chúng tôi đã thất bại, và cách chúng tôi đã phản ứng" và nói với khách hàng: "Hôm nay chúng tôi đã thất bại với bạn."

Sự cố này không chỉ giới hạn ở một thương hiệu. HostingJournalist đưa tin rằng cơ sở này được điều hành bởi RadiusDC, với phoenixNAP là một người thuê, và rằng Hosting.com đã báo cáo riêng về làn sóng dịch vụ không khả dụng tại địa điểm Phoenix của họ. Namecheap cho biết việc phân giải DNS vẫn hoạt động trong khi quản lý DNS bị ảnh hưởng — một sự phân biệt quan trọng, vì điều này đã để lại một số khách hàng vẫn trực tuyến nhưng không thể thay đổi bất cứ điều gì. Việc khôi phục được tổ chức một cách có chủ ý: thiết bị mạng vật lý trước, sau đó là hạ tầng mạng ảo, sau đó là dịch vụ khách hàng.

Đối với bất kỳ ai phụ thuộc vào một nhà cung cấp duy nhất cho lưu trữ, email và quản lý DNS cùng lúc, bài học thực tiễn là những chức năng này có thể chia sẻ một miền thất bại ngay cả khi chúng giống như những sản phẩm riêng biệt. Bạn có thể theo dõi các dịch vụ liên quan trên các trang Status Is Down cho Namecheap và Hosting.com, hoặc duyệt qua các dịch vụ lưu trữ web và đám mây, đăng ký miền và webmail.

Các cơn bão tại miền Bắc Illinois đã để lại 410,000 người không có điện, với việc phục hồi diễn ra vào cuối tuần

Các cơn bão nghiêm trọng xảy ra vào đầu tuần đã cắt điện cho số lượng khách hàng lớn hơn rất nhiều ở phía Bắc Illinois, và các nhóm tiện ích vẫn đang xây dựng lại các phần của mạng lưới vào thứ Năm.

Chicago Tribune đưa tin rằng khoảng 52,000 khách hàng ở khu vực Chicago, chủ yếu nằm ở phía nam và tây nam ngoại ô, vẫn không có điện vào lúc 3 giờ chiều thứ Năm. Jeremy Smith, phó chủ tịch hoạt động phân phối của ComEd, cho biết ông dự kiến khoảng 99% khách hàng sẽ được khôi phục vào lúc 11 giờ tối thứ Bảy, và thêm rằng: "Sẽ có những khu vực vẫn mất điện đến Chủ nhật." Thị trưởng Homewood, Rich Hofeld, cho biết tiện ích đã nói với ông rằng khoảng 58% làng vẫn không có điện vào sáng hôm đó, với Tòa thị chính làng chỉ có một số nhân viên làm việc và không có điều hòa không khí.

Shaw Local’s The Herald-News đưa tin số liệu toàn lãnh thổ: gần 410,000 khách hàng của ComEd đã mất điện, với 85% được khôi phục vào cuối buổi chiều. Chỉ riêng tại hạt Will, người phát ngôn của ComEd, David O'Dowd, cho biết có hơn 105,000 khách hàng bị ảnh hưởng vào giờ cao điểm, giảm xuống hơn 11,000 vào cuối chiều thứ Năm — tỷ lệ khôi phục 89%. Các tác động thương mại là rõ ràng: một trạm xăng ở Joliet chỉ giao dịch tiền mặt trong ngày thứ ba, không thể bán nhiên liệu nào mà không có điện, ghi lại doanh số trên giấy và cắt giảm giờ làm việc chỉ còn ban ngày.

Illinois đang có một mùa bão bất thường. ComEd đã mô tả đây là sự kiện thời tiết lớn thứ 20 trong năm, và Cơ quan Khí tượng Quốc gia cho biết với Tribune rằng bang này đang tiến gần đến con số 200 trận lốc xoáy trong một năm, so với mức trung bình 54 mỗi năm từ 1990 đến 2020. Bạn có thể theo dõi tiện ích trên trang ComEd của Status Is Down hoặc theo dõi trong danh mục năng lượng, điện và gas.

Giám sát các dịch vụ bạn phụ thuộc vào

Cả hai sự cố đều bắt đầu từ hạ tầng vật lý — một nhà máy làm mát và một mạng lưới phân phối bị hư hại bởi bão — và cả hai đều dễ thấy với khách hàng trước khi được giải thích. Status Is Down theo dõi các sự gián đoạn được báo cáo trên hàng ngàn dịch vụ và trang web để bạn có thể thấy khi một thứ bạn phụ thuộc vào bắt đầu gặp sự cố, thay vì chỉ biết từ một trang trạng thái sau khi sự cố đã xảy ra. Bạn có thể theo dõi hoạt động trực tiếp trên xem tình trạng thời gian thực, tìm kiếm thư mục website và thư mục dịch vụ, đọc báo cáo trước trong lưu trữ bài viết, so sánh kế hoạch và giá cả, và tạo một tài khoản để theo dõi các dịch vụ cụ thể mà bạn cần cho công việc của mình.

Nguồn

• Engadget — Nhà cung cấp dịch vụ lưu trữ Namecheap ngừng hoạt động sau sự cố làm mát trung tâm dữ liệu
• TechRadar Pro — ‘Chúng tôi đã thất bại với bạn hôm nay’: Namecheap ngừng hoạt động trong vài giờ sau sự cố làm mát trung tâm dữ liệu
• HostingJournalist — Namecheap, Hosting.com bị ảnh hưởng bởi sự cố trung tâm dữ liệu Phoenix
• Chicago Tribune — ComEd cho biết hầu hết điện sẽ được phục hồi tại Southland vào tối thứ Bảy
• Shaw Local, The Herald-News — Những ngày nóng, đêm tối và thực phẩm hư hỏng: Đợi ở hạt Will để điện trở lại sau bão