Тебя разбудил алерт: у API резко выросли ошибки. Что делаешь в первые минуты дежурства и чего точно не стоит делать?
как ответить Подтверждаю получение, проверяю реальное влияние и масштаб, назначаю тяжесть инцидента и открываю общий канал с журналом действий. Иду по runbook, проверяю недавние изменения и сначала выбираю обратимое смягчение — rollback, отключение флага или ограничение трафика. Не делаю неподтверждённые массовые перезапуски и не расследую в одиночку серьёзный сбой без эскалации.
Первые минуты нужны для управления риском, а не для идеального диагноза. Дежурный подтверждает page, чтобы система не звала следующего человека, проверяет пользовательский симптом из независимого источника и определяет затронутые функции, регионы и время начала. Если влияние велико или растёт, инцидент эскалируют рано.
Минимальный порядок:
- открыть incident channel и зафиксировать время, симптомы и текущего координатора;
- проверить известные изменения и зависимости по runbook;
- выбрать действие с понятным откатом и наблюдаемым ожидаемым эффектом;
- записывать команды, решения и результат, не полагаясь на память;
- сообщать статус заинтересованным сторонам с согласованным ритмом.
Опасны хаотичные одновременные изменения: после них непонятно, что помогло, а состояние может ухудшиться. Массовый рестарт способен усилить перегрузку, очистить полезные данные и уронить оставшиеся здоровые реплики. Глубокий root-cause анализ можно продолжить после стабилизации; сначала нужно остановить рост ущерба и вернуть ключевую функцию.
чтобы прозвучать сильнее Раздели роли incident commander, технического исполнителя, коммуникаций и секретаря, чтобы один человек не координировал, не чинил и не писал обновления одновременно.