Собственный контур наблюдаемости для всей экосистемы TechCon ML, который непрерывно растёт вместе с флотом с первого дня — и всегда успевал раньше, чем число сервисов создавало новые слепые зоны.
Экосистема TechCon ML — это несколько продуктовых сервисов на нескольких машинах, включая GPU-карты, которые включаются и выключаются по требованию. Чем больше сервисов, тем больше мест, где что-то способно тихо сломаться незамеченным. Мониторинг закрывает именно это: у дежурного всегда есть один ответ на вопрос «что сейчас происходит с флотом», а не набор разрозненных догадок.
Проверка здоровья сервиса смотрит на весь путь целиком — провайдера, очередь, GPU — а не только на то, что сервер вообще отвечает. Именно так устроена архитектура с первого дня.
Весь стек — self-hosted: свои метрики, свои дашборды, свои тревоги. Ни один SaaS-провайдер мониторинга не участвует.
Сигнал спроектирован так, чтобы его понимал не только дежурный человек, но и автономный агент, который реагирует на тревогу без ожидания человека.
Метрики и логи всего флота остаются внутри собственного периметра.
Объём метрик, число дашбордов и правил растёт свободно, без внешних квот.
Экономия на SaaS-мониторинге — контур делит ресурсы с прод-инфраструктурой.
Стек подстраивается под реальные особенности флота, а не флот — под чужой продукт.
179 дней подряд, без больших рывков и без пауз — каждая неделя добавляла контуру что-то новое, прежде чем в этом успевала возникнуть нужда.
Traefik, GlitchTip, Gatus, VictoriaMetrics с Grafana и Alertmanager, Loki с Vector — фундамент собран одним махом, не по частям.
Зачаток автономного реагирования на инциденты — задолго до того, как это стало общей практикой команды.
Автоматическое резервное копирование, дашборд целевого качества сервиса, операторский портал Homer и портал документации на MkDocs.
Мониторинг GPU переведён на реальную боевую карту, интеграция с API облака для управления жизненным циклом карт.
Контур расширяется вслед за ростом экосистемы — каждый новый продуктовый сервис получает наблюдаемость сразу, не постфактум.
Все дашборды пересобраны: понятный русский язык вместо технического жаргона, единый визуальный стандарт, устранены неточные подписи.
Добавлена постоянная автоматическая сверка: каждое правило алертинга реально способно сработать, а не просто существует в конфигурации.
Каждая тревога читается однозначно тем, кто получает её ночью из почты — без расшифровки внутренних терминов.
За время работы контур поймал около 15 случаев непредвиденного поведения флота — до того, как это стало заметно клиенту. Подавляющее большинство закрыто автоматически:
закрыто полностью автоматически — по заранее заложенным правилам восстановления
закрыто ИИ-агентами, которые сработали автоматически по тревоге, без ожидания человека
максимально быстро закрыто людьми, получившими уведомление на почту сразу же
Контур целенаправленно развивается в сторону максимальной совместимости с автономными агентами — не только с дежурным человеком: