[DE Ch-08] 지연은 백분위와 최댓값으로 본다: 평균이 숨기는 꼬리와 합칠 수 있는 히스토그램
평균이 같은 두 서버도 p99는 열 배 차이 날 수 있습니다. 지연은 정규분포를 따르지 않아서 평균과 표준편차가 분포를 설명하지 못합니다. 백분위 여러 개와 최댓값을 함께 보고 백분위는 평균 내지 말고 히스토그램을 합쳐서 구합니다. 팬아웃이 커지면 드문 꼬리가 대부분의 요청에 닿는 이유를 The Tail at Scale의 수치와 시뮬레이션으로 확인합니다.