세 서버 중 어디서 느려졌을까
가상 이야기 · 핵심노트 기반
핵심노트 개념: 관측 가능성 — 기록과 수치로 실패한 처리 단계를 찾는다
이 글에서 배우는 교훈
장애 원인을 찾으려면 기록의 양뿐 아니라 같은 요청의 기록을 서로 연결할 수 있는지가 중요합니다.
핵심노트를 바탕으로 만든 가상 이야기입니다. 실제 사건이나 검증된 성과가 아닙니다.
근거: 관측 가능성 — 기록과 수치로 실패한 처리 단계를 찾는다 · 핵심노트 7
구체적으로는 팀은 한 요청에 같은 식별자를 남겨 웹·주문·결제 단계의 처리 시간과 실패를 연결했습니다.
관련 교재 내용
시스템아키텍처 이해와 활용 · VIII. 장애 대응 · 결함 감지와 진단
교재는 결함을 발견하는 감지와 원인을 판단하는 진단을 구분합니다. 요청별 기록을 연결하는 방법은 그 원리를 소프트웨어 운영에 적용한 예입니다.
이 사례에 적용한 내용: 팀은 한 요청에 같은 식별자를 남겨 웹·주문·결제 단계의 처리 시간과 실패를 연결했습니다.
교재 원리의 실무 적용 · 교재 원문 인용이 아닌 자체 설명입니다.
본문
한 주문은 웹 서버에서 접수되고 주문 서버에 저장된 뒤 외부 결제 서버를 거쳤습니다. 각 서버에 기록은 있었지만 같은 주문의 기록인지 알 수 없었습니다. 운영자는 비슷한 시각의 기록을 찾아 같은 요청일 것이라고 추측해야 했습니다.
팀은 주문 요청마다 식별 번호를 붙이고 처리 단계마다 그 번호·걸린 시간·성공 여부를 남겼습니다. 담당자는 같은 번호의 기록을 모아 지연된 단계를 찾을 수 있게 됐습니다. 분석에 필요하지 않은 결제 비밀정보는 기록에서 제외했습니다.
결론
기록을 많이 남기는 것과 원인을 찾을 수 있게 남기는 것은 다릅니다. 같은 요청의 흐름을 연결할 정보가 있어야 어느 단계부터 조사할지 판단할 수 있습니다.