Хороший принцип: каждое уведомление отвечает на вопрос «что мне сделать прямо сейчас».
Хороший принцип: каждое уведомление отвечает на вопрос «что мне сделать прямо сейчас». Плохой алерт: «загрузка процессора 85 процентов». Что делать — непонятно, а если сервер так живёт всегда, это шум. Хороший алерт: «очередь обработки заказов растёт 15 минут, сейчас 4200 сообщений». Тут видно и проблему, и её влияние на бизнес. Как переделать мониторинг под этот принцип. Уходите от метрик железа к метрикам сервиса: время ответа, доля ошибок, длина очереди, задержка репликации, свежесть данных. Задавайте пороги от нормы конкретной системы, а не от абстрактных 80 процентов. Пишите в текст уведомления ссылку на инструкцию: что проверить первым делом. Это экономит минуты в три часа ночи и позволяет дежурить не только автору системы. И правило разбора: после каждого инцидента спрашивайте, какое уведомление должно было прийти раньше, и добавляйте его. Ваши алерты говорят, что делать, или только что случилось?