Типичный Сисадмин

🔥 Яндекс начал эвакуировать клиентов к прямым конкурентам. Стойки закончились. В 09:27 во всех зонах разом захромал S3 Object Storage... тайминги улетели, операции записи начали повально сыпать ошибками. Стораджисты это понимают... это когда из распределенного кластера физически выпадают площадки, erasure coding и кворум репликации ложатся, то читать старое еще можно, а вот записать новый блоб становится тяжеловато (невозможно). 😱 В 10:39 случился исторический момент. Яндекс пояснил, что свободных мощностей для бизнеса больше нет, и предложил своим клиентам… переходить в Selectel, K2Cloud и VK Cloud. А чтобы быстрее приютили на чужих серверах, нужно назвать секретный пароль... CloudBro. З.Ы. Как говорится... мем смешной, а ситуация страшная. Кажется, мы только что увидели фактический …

💥 Следом за Сасово прилетело по ДЦ Яндекса в Калуге. Минус два из трёх. Не прошло и суток как под удар попал крупнейший ДЦ Яндекса в Калуге. Несколько модулей выведены из строя, экстренные службы на месте, сервисы по всей стране снова лихорадит, а масштаб ущерба уточняется. Оцените всю дьявольскую издевку ситуации... ровно вчера, когда в Сасово догорал, техподдержка Яндекса советовала клиентам переносить нагрузку в другие зоны доступности. И тысячи невыспавшихся админов по всей стране, с красными глазами, раскатывали бэкапы, поднимали поды и переключали трафик… куда? В Калугу и Владимир. И вот, не успел в свежеподнятых базах остыть кэш, как резервная гавань сама ловит новый физический импакт. С точки зрения архитектуры распределенных систем это почти фаталити... любой эникей знает, что…

Покупатели проходят мимо, выбирают пуховики... А могли бы выбрать Load Optimized Defaults и сделать мир чуточку стабильнее. @sysodmins

Природа настолько очистилась, что в прод вернулись старые добрые дедики...Yandex Cloud советует спасаться с подгоревших виртуалок Сасово на физические дедики Bare Metal Доступность зоны ru-central1-b пока не восстановлена. Наша команда продолжает устранять последствия инцидента. Рекомендуем по возможности использовать альтернативные варианты восстановления сервисов, в том числе выделенные физические серверы Bare Metal. Cледующую весточку отложили до завтра в 12:00 мск... впереди одиннадцать часов тишины, до утра оживить площадку в Сасово невозможно даже теоретически ⚰️ З.Ы. Вот она, ирония судьбы: больше десяти лет на всех конфах нам говорят, что будущее за эластичными микросервисами, подами и бессерверными функциями. И вот... облачный провайдер предлагает клиентам юзать выделенные физич…

🚪 Пресс-служба Яндекса: компания продолжает оценивать ущерб в Сасово и подтвердить возможность восстановления оборудования пока не может. Главный вопрос, от которого сейчас зависит будущее отечественного бигтеха... что там с Червоненкисом и Ляпуновым. Если пожар или тушение добрались до машинных залов этих двух суперПК, то это же две трети вычислительных мозгов Яндекса, на которых обучаются главные нейросети страны, и четверть коммерческого облачного рынка РФ. Типичный 🟢 Сисадмин

🚨Yandex Cloud выкатил самый тревожный апдейт за эти сутки... в ближайшее время ничего не поднимется ⚰️ Если кто-то еще питал иллюзии, что к ночи рубильник поднимут и базы в Сасово оживут, увы: Ситуация с доступностью зоны ru-central1-b пока не изменилась. Наши специалисты продолжают восстановительные работы, однако, по текущим оценкам, возобновить работу зоны в ближайшее время не удастся. Рекомендация остается прежней по возможности задействовать альтернативные планы по восстановлению работы сервисов. Если чья инфраструктура, БД или единственные копии снапшотов жили исключительно внутри зоны ru-central1-b - сочувствую. Но урок по Disaster Recovery должен быть усвоен. Что же там внутри ДЦ... 😱 Типичный 🟢 Сисадмин