Как проверить мониторинг: приложение остановлено, сервер работает
Проверьте, заметят ли Uptime Kuma и Zabbix остановку приложения, когда сам сервер продолжает работать. На тестовой установке отдельно остановите программу и отключите сетевой доступ. Для каждой ошибки измерьте время до сообщения сотруднику, затем восстановите сервис. Проверка поможет отличать причины сбоя и не терять уведомления.
Что подготовить
- Отдельную тестовую страницу, которую можно остановить без ущерба рабочей команде.
- Настроенные проверки Uptime Kuma и Zabbix и получателя уведомлений.
- Тестовую тему ntfy, подписанное приложение получателя и доступ администратора к консоли.
Выберите страницу, которой пользуется команда #
Возьмите тестовую базу знаний с отдельным адресом. Сотруднику нужно открыть инструкцию, поэтому проверяйте её страницу. Отвечающий сервер ещё не означает, что нужное приложение работает. Назначьте человека, который получит сообщение о сбое.
Страница работает до проверки. Откройте её обычным способом и убедитесь, что мониторинг видит нужный ответ.
Сообщение уже проверено. Отправьте тестовое уведомление и попросите получателя подтвердить, что он его увидел.
Можно вернуть доступ. Сохраните возможность управления тестовым сервером с консоли, даже если сеть будет отключена.
Запишите периодичность проверок и число повторов перед сообщением об ошибке. Эти настройки влияют на время обнаружения. Если мониторинг показывает сбой ещё до остановки приложения, сначала исправьте исходную проверку.
Проверьте остановку приложения и потерю сети #
Сначала остановите только приложение. Сервер и его сетевой адрес должны оставаться доступны. Проверьте, что мониторинг замечает недоступную страницу, а не продолжает показывать зелёный статус только потому, что сервер отвечает.
Затем верните приложение и отдельно перекройте доступ к его тестовому адресу со стороны мониторинга. Программа при этом может работать. Сообщение должно помогать проверить соединение, а не заранее объявлять сервер сломанным.
В Uptime Kuma задайте проверку нужной страницы и подходящего ответа. В Zabbix проверьте последовательность открытия страниц и отдельно состояние сервера. Если нужен вход, используйте учебный аккаунт с подходящими правами.
| Действие | Что проверить | Какой результат нужен |
|---|---|---|
| Остановить приложение | Страницу и работающий сервер | Ошибка приложения замечена |
| Перекрыть тестовый адрес | Соединение со стороны мониторинга | Недоступность не выдана за доказанную поломку сервера |
| Отправить уведомление | Сообщение у получателя | Сотрудник подтвердил получение |
| Вернуть приложение и сеть | Статус и сообщение о восстановлении | Понятно, что сбой закончился |
Убедитесь, что сообщение дошло до человека #
Время сообщения измеряйте от момента отказа до получения сотрудником. Оно включает ожидание следующей проверки, повторные попытки и доставку. Интервал «проверять раз в минуту» сам по себе не означает, что человек узнает о сбое через минуту.
Запишите момент сбоя. Например, когда остановили тестовое приложение.
Запишите обнаружение. Когда мониторинг впервые заметил ошибку и сменил статус.
Запишите получение. Когда сообщение появилось у сотрудника. После восстановления проверьте также сообщение о возврате сервиса.
Для Uptime Kuma можно проверить доставку через ntfy. Укажите сервер ntfy и тестовую тему — канал, на который подписан получатель. В Uptime Kuma добавьте ntfy в настройках уведомлений и назначьте его нужной проверке.
Сохраните адрес, название темы и получателя, затем отправьте тестовое сообщение. Ключ отправки держите отдельно от отчёта. Для Zabbix администратор отдельно настраивает и проверяет выбранный способ отправки: связь всех трёх программ автоматически не появляется.
Успешная отправка ещё не подтверждает получение человеком. Проверьте приложение получателя и попросите его подтвердить сообщение. В тексте нужны название сервиса, симптом, время и ссылка на инструкцию с дальнейшими действиями.
Порядок проверки
- Откройте тестовую страницу и убедитесь, что мониторинг показывает успешную проверку.
- Отправьте тестовое сообщение и подтвердите его получение.
- Остановите приложение, оставив сервер работающим; запишите обнаружение и получение сообщения.
- Запустите приложение и проверьте сообщение о восстановлении.
- Отдельно перекройте доступ к тестовому адресу со стороны мониторинга, сохранив управление сервером.
- Верните сеть, сравните задержки и попросите коллегу назвать следующий шаг по одному сообщению.
Понятно ли сотруднику, что делать #
Покажите сообщение коллеге, который не настраивал мониторинг. Пусть он объяснит, какой сервис недоступен, где проверить состояние и кому передать проблему. Если приходится дополнять сообщение устно, исправьте его текст.
Назван конкретный сервис. «База знаний не открывается» полезнее, чем безымянная «Ошибка».
Понятен следующий шаг. Есть ссылка на проверку или контакт ответственного.
Повторы не мешают. Посчитайте сообщения за один отказ и восстановление. Лишний поток усложняет поиск важного сигнала.
Отдельно запланируйте проверку самого мониторинга и доставки. Если они зависят от той же сети, общий сбой может помешать сообщению. Для независимой проверки нужен другой наблюдатель; основной опыт не проверяет этот случай.
Как записать результат #
Для каждой ошибки запишите, что отключили, когда её заметил мониторинг и когда сообщение получил сотрудник. Приложите сообщения и выбранные настройки без секретных ключей. Различайте отказ приложения и потерю сети.
Укажите время восстановления и число повторных уведомлений. Если сообщение не дошло, разберите отдельно обнаружение, отправку и получение. Исправьте найденную причину и повторите только нужную проверку, сохранив остальные условия.
Что должно стать понятно
- Замечает ли проверка остановку приложения при работающем сервере.
- Сколько времени проходят обнаружение и доставка сообщения.
- Видит ли получатель восстановление и понимает ли дальнейшие действия.
- Какие общие зависимости могут помешать самому мониторингу или доставке.