장애 대응의 첫 번째 행동은 아무것도 하지 않는 것이다
Sean Goedecke의 글 Notes on incidents는 장애 대응에 관한 통념을 뒤집는다. 장애가 발생하면 누군가 즉시 원인을 찾아내고, 재치 있는 수정으로 시스템을 구해야 한다고 생각하기 쉽다. 하지만 실제 장애 대응은 영웅의 무대라기보다 기다림과 관찰, 그리고 제한적인 개입의 과정에 가깝다. 3줄 핵심 정리 첫 행동은 멈춤이다: 장애는 다른 팀의 조사, 배포, 자동 복구를 기다리는 동안 자연스럽게 회복되기도 하므로 먼저 상황을 악화시키지 않아야 한다. 해결책은 대개 지루하다: 기능 플래그를 끄거나 변경을 되돌리는 등 작고 되돌릴 수 있는 조치가 복잡한 수정 작업보다 효과적이다. 사람보다 맥락이 중요하다: 시스템의 구조와 과거 동작을 아는 사람이 단호하게 행동할 때 장애 해결 가능성이 높아진다. 장애는 영웅의 무대가 아니다 장애 대응에 관한 이야기는 대개 극적인 순간을 중심으로 전해진다. 한 엔지니어가 로그에서 결정적인 단서를 찾고, 남들이 생각하지 못한 명령을 실행해 몇 초 만에 서비스를 되살렸다는 식이다. 이런 사례는 기억에 남지만, 장애 대응의 일반적인 모습을 보여주지는 않는다. ...