Ночная смена — сервер и системный администратор

Передача дел — момент, когда становится видно качество всей предыдущей работы. Что должно уйти вместе с доступом. Карта: какие машины, какие роли, какие адреса, что от чего зависит. Схема на одном листе полезнее двадцати страниц текста. Доступы: где хранятся, как получить, кто владелец у провайдера, регистратора, в облаке. Отдельно — что нужно поменять после передачи. Расписания: что запускается по cron и таймерам, что делает, куда пишет. Копии: где лежат, как восстановить, когда проверялись в последний раз. Известные особенности: почему здесь выключено автообновление, почему этот сервис нельзя перезапускать днём, какой скрипт держит костыль и зачем. Контакты: провайдеры, подрядчики, номера договоров, сроки продления. И живая передача: пусть новый человек при вас развернёт копию, пе…

Базовая настройка, которая экономит недели потом. Список короткий, но его редко выполняют целиком. Учётные записи и доступ: вход по ключам, root без прямого входа, fail2ban. Время: chrony и правильный часовой пояс на всех машинах одинаковый. Логи: постоянный журнал на диске, ротация, отправка на центральный сервер, если он есть. Мониторинг: место, inode, память, нагрузка, доступность сервиса, срок сертификатов. И проверка, что уведомления доходят до живого человека. Резервные копии: настроены, автоматизированы, проверены восстановлением хотя бы раз. Обновления безопасности: автоматические. Фаервол: по умолчанию всё закрыто, открыто только нужное. Документация: адреса, роли, кто владелец, как восстанавливать. И то, что забывают чаще всего: swap или его осознанное отсутствие, лимиты…

Пока всё работает, кажется излишеством. Ситуации, в которых это спасает, выглядят так. Внешний источник исчез. Пакет удалили из репозитория, образ переименовали, версия отозвана. Ваша сборка, которая год работала, перестаёт собираться в самый неподходящий момент. Пропал интернет или его ограничили. Развернуть новый сервер становится невозможно. Скорость. Установка из локального зеркала идёт в разы быстрее и не зависит от чужого канала. Контроль. Вы точно знаете, какие версии используются, и можете проверить их до того, как они попадут в прод. Минимальный вариант, который окупается сразу: локальное кэширующее зеркало пакетов и реестр образов. Ставится за день, работает годами. Отдельно про фиксацию версий: latest в образе означает, что завтра у вас может собраться что-то другое. В про…

Самая частая дыра в компаниях — не взлом, а забытые доступы. Список того, что нужно закрыть. Доменная учётная запись и почта. Не удалять сразу, а блокировать и перенаправлять почту руководителю: удаление ломает связи и историю. VPN и удалённый доступ. Отдельно от домена, часто это второй список. Ключи SSH. Проверьте authorized_keys на всех серверах: ключ живёт независимо от учётной записи. Общие пароли. Если пароль от роутера, панели хостинга или сервисного аккаунта знал уволившийся — меняем. Сторонние сервисы. Хостинг, регистратор доменов, облако, платёжные системы, рассылки, мессенджеры, репозитории кода. Это то, что обычно всплывает позже всего. Личный телефон в двухфакторной аутентификации сервисных аккаунтов — проверьте отдельно. Физические ключи и пропуска. Организационная ча…

Канал забит, приложение тормозит, причина неизвестна. Порядок разбора. Кто прямо сейчас: iftop показывает соединения и скорость по каждому, nethogs — потребление по процессам. Второе особенно полезно: сразу видно, что это резервное копирование или обновление, а не пользователи. Что было раньше: без сбора статистики восстановить картину нельзя. Минимальный вариант — vnstat, он ведёт историю по интерфейсам и стоит копейки по ресурсам. Для детальной картины нужен сбор потоков. Типичные виновники на серверах: ночное копирование, съехавшее на день; репликация после долгого простоя; обновление образов; чей-то скрипт, качающий логи целиком; и, конечно, атака или ваш сервис, ставший чьим-то зеркалом. Что сделать сразу, если канал забит: ограничить полосу для служебных задач. Копирование и синх…

Отчёт «задание выполнено успешно» ничего не гарантирует. Проверять надо другое. Возраст последней копии. Не «задание отработало», а «файл копии свежее чем сутки». Задание может успешно завершиться, ничего не скопировав. Размер. Резкое падение объёма — признак того, что часть данных не попала. Настройте порог отклонения от среднего. Целостность. Для архивов — проверка контрольной суммы, для баз — тестовое восстановление. Восстановление по расписанию. Самый честный мониторинг: раз в неделю автоматически развернуть копию на тестовом сервере и проверить, что сервис поднимается и данные на месте. Это делается скриптом и снимает почти все вопросы. Отдельно — недоступность хранилища копий. Если сетевой диск отвалился месяц назад, а задания «успешны», вы узнаете об этом в худший момент. И пр…