Итак у нас случился первый эпик фейл

Сейчас аудитика находится на стадии альфа-тестирования, поэтому многие вещи ещё не отработаны или даже не реализованы. Именно поэтому новые пользователи в качестве бонуса для альфа-тестеров получают расширенные лимиты, которые останутся с ними навсегда, как благодарность за участие.

Например, пользовательский интерфейс сейчас готов примерно на 80%, а админка только на 10%. Вот так сейчас выглядит главная страница админки:

Внешнюю доступность мы, конечно, мониторим своими же сервисами. Что касается инфраструктурных метрик — пока собирается только часть данных.

И вот недавно один из таких внутренних сервисов завис из-за потери соединения с БД. UFW заблокировал форвардинг трафика между Docker bridge и туннельным интерфейсом, через который приложение подключалось к базе данных.

В итоге получилось классическое "снаружи всё выглядит нормально, но внутри уже есть проблема".

Сейчас мультилокационный мониторинг работает так: при запуске проверки, задания отправляются во все локации, затем результаты собираются, объединяются в единый отчёт и после этого отображаются в интерфейсе и отправляются уведомления. Проблема была в том, что если одна из локаций не отвечала, агрегатор мог ждать её бесконечно.

Именно это и произошло: две локации продолжали нормально выполнять проверки, а одна зависла из-за проблем с сетью. В результате новый отчёт не формировался.

Спасибо всем пользователям, которые помогли выявить первую серьёзную проблему во время альфа-тестирования.