책 목록 · 독서 스터디 정리

가상 면접 사례로 배우는
대규모 시스템 설계 기초

알렉스 쉬 지음 · 이병준 옮김 · 인사이트

책 원문과 한 줄씩 대조하지 않은 정리입니다. 수치와 예시는 책 표현과 조금 다를 수 있습니다.

CHAPTER 1

사용자 수에 따른 규모 확장성

서버 한 대에서 시작해 병목이 보일 때마다 구성 요소를 하나씩 붙여, 백만 사용자를 받는 구조까지 키워 나간다.

단계별로 붙이는 구성 요소

  1. 01
    단일 서버
    웹·앱·DB·캐시가 한 서버에. 사용자는 DNS로 IP를 얻고 HTTP 요청을 보내 HTML이나 JSON을 받는다.
  2. 02
    DB 분리
    웹 트래픽 처리와 DB를 나눠 각각 따로 확장한다.
  3. 03
    로드밸런서 + 웹 서버 여러 대
    사용자는 로드밸런서의 공개 IP로 접속하고, 서버끼리는 사설 IP로 통신한다. 한 대가 죽어도 나머지로 보낸다.
  4. 04
    DB 다중화
    쓰기는 주 DB, 읽기는 부 DB. 성능, 안정성, 가용성이 함께 좋아진다.
  5. 05
    캐시
    자주 읽는 데이터를 메모리에 두어 DB 왕복을 줄인다.
  6. 06
    CDN
    이미지·CSS·JS 같은 정적 파일을 사용자와 가까운 서버에서 내려준다.
  7. 07
    무상태 웹 계층
    세션을 공유 저장소로 옮겨 어느 서버로 가도 같게 만든다. 자동 확장이 가능해진다.
  8. 08
    데이터 센터 여러 개
    geoDNS로 가까운 센터로 보내고, 한 센터가 죽으면 다른 센터가 전부 받는다.
  9. 09
    메시지 큐
    생산자와 소비자를 분리해 각자 따로 확장한다.
  10. 10
    로그·메트릭·자동화
    규모가 커지면 사람이 직접 볼 수 없으므로 수집하고 자동화한다.
  11. 11
    DB 샤딩
    데이터 양 자체가 서버 한 대를 넘으면 샤딩 키로 나눠 저장한다.

백만 사용자 규모의 구성

DB: 관계형과 비관계형

기본 선택은 관계형 DB(조인, 트랜잭션). 아래 경우에는 비관계형(키-값, 그래프, 컬럼, 문서)을 고려한다.

수직 확장과 수평 확장

수직 확장 (scale up)수평 확장 (scale out)
방법CPU·메모리 등 서버 사양을 올린다서버 대수를 늘린다
장점단순하다. 트래픽이 적을 때 좋은 선택사실상 한계가 없고, 한 대가 죽어도 버틴다
단점사양에 상한이 있다. 장애 자동 복구·다중화가 없어 서버가 죽으면 서비스 전체가 멈춘다로드밸런서와 상태 관리가 필요하다

DB 다중화 (주-부)

쓰기는 주(master) DB만, 부(slave) DB는 주에서 사본을 받아 읽기만 처리한다. 대부분 서비스는 읽기가 훨씬 많아 부 DB가 여러 대다.

장애 상황대응
부 DB 한 대가 죽음부가 하나뿐이면 읽기를 잠시 주 DB로 보내고 새 부 DB를 띄운다. 여러 대면 나머지로 분산한다.
주 DB가 죽음부 DB 하나를 주로 승격한다. 부의 데이터가 최신이 아닐 수 있어 복구 스크립트로 빠진 데이터를 채운다. 실무에서는 다중 마스터, 원형 다중화 같은 방식도 쓴다.

캐시

읽기 주도형 캐시 전략: 캐시에 있으면 바로 반환, 없으면 DB에서 읽어 캐시에 넣고 반환한다.

고려할 점내용
언제 쓰나갱신은 드물고 읽기가 잦을 때. 휘발성이라 영속적으로 보관할 데이터는 두지 않는다.
만료 정책너무 짧으면 DB를 자주 읽고, 너무 길면 원본과 어긋난다.
일관성DB 갱신과 캐시 갱신이 한 트랜잭션이 아니라 어긋날 수 있다. 여러 지역으로 확장하면 더 어렵다.
장애 대응캐시 서버 한 대는 단일 장애 지점(SPOF)이다. 여러 지역에 나눠 둔다.
메모리 크기작으면 데이터가 자주 밀려나 성능이 떨어진다. 넉넉하게 잡는다.
방출 정책LRU(가장 오래 안 쓴 것), LFU(가장 적게 쓴 것), FIFO(먼저 들어온 것).

CDN

무상태 웹 계층

상태 유지 서버

사용자 세션이 특정 서버에 있다. 같은 사용자는 항상 같은 서버로 보내야 하고(고정 세션), 서버를 추가·제거하거나 장애를 처리하기 어렵다.

무상태 서버

세션은 공유 저장소(RDB, Redis, NoSQL)에 둔다. 어느 서버로 가도 같고, 트래픽에 따라 서버를 자동으로 늘리고 줄일 수 있다.

데이터 센터 여러 개

geoDNS가 사용자 위치에 맞는 센터로 보낸다. 넘어야 할 과제는 세 가지다.

메시지 큐

생산자는 메시지를 큐에 넣고, 소비자는 꺼내 처리한다. 소비자가 잠시 죽어 있어도 메시지는 남는다. 사진 보정처럼 오래 걸리는 작업을 큐에 넣고, 큐가 길어지면 작업 서버만 늘린다.

DB 샤딩

같은 스키마의 DB를 여러 샤드로 나누고 샤딩 키로 위치를 정한다(예: user_id % 4). 데이터를 고르게 나누는 키를 고르는 게 핵심이다.

문제내용과 대응
재샤딩샤드가 가득 차거나 분포가 고르지 않을 때 키 함수를 바꾸고 데이터를 옮겨야 한다. 안정 해시(5장)로 줄인다.
유명인사 문제특정 샤드에 요청이 몰리는 핫스팟. 유명인마다 샤드를 따로 주거나 더 잘게 나눈다.
조인과 비정규화여러 샤드에 걸친 조인이 어렵다. 비정규화해서 한 테이블에서 끝나게 한다.

백만 사용자 체크리스트

  • 웹 계층은 무상태로
  • 모든 계층에 다중화
  • 가능한 많은 데이터를 캐시
  • 여러 데이터 센터 지원
  • 정적 콘텐츠는 CDN으로
  • 데이터 계층은 샤딩으로 확장
  • 계층마다 독립 서비스로 분할
  • 모니터링하고 자동화 도구 활용

토론 질문

  1. 주 DB가 죽어 부 DB를 승격할 때 잃을 수 있는 데이터는 무엇이고, 어떻게 줄일 수 있을까?
  2. 세션을 Redis로 옮기면 Redis가 새 단일 장애 지점이 되지 않을까? 어떻게 막을까?
  3. 캐시와 DB가 어긋났을 때 사용자에게 보이는 문제는? 쓰기 시 캐시를 지우는 방식과 갱신하는 방식 중 어느 쪽이 안전할까?
CHAPTER 2

개략적인 규모 추정

정확한 값이 아니라, 설계 방향을 정할 수 있을 만큼의 어림값을 빠르게 낸다. 영어로는 back-of-the-envelope estimation(봉투 뒷면 계산).

2의 제곱수

제곱근사값이름약자
2101천KilobyteKB
2201백만MegabyteMB
23010억GigabyteGB
2401조TerabyteTB
2501천조PetabytePB

응답 지연 값

구글의 제프 딘이 2010년 무렵 공개한 값이다. 지금 하드웨어로는 더 빠르지만 크기 차이를 가늠하는 데는 여전히 쓸 만하다.

연산시간
L1 캐시 참조0.5 ns
분기 예측 실패5 ns
L2 캐시 참조7 ns
뮤텍스 락·언락100 ns
주 메모리 참조100 ns
1KB를 Zippy로 압축10 µs
1Gbps 네트워크로 2KB 전송20 µs
메모리에서 1MB 순차 읽기250 µs
같은 데이터 센터 안 왕복500 µs
디스크 탐색(seek)10 ms
네트워크에서 1MB 순차 읽기10 ms
디스크에서 1MB 순차 읽기30 ms
캘리포니아 → 네덜란드 → 캘리포니아 패킷150 ms

표에서 읽어 낼 결론

  • 메모리는 빠르고 디스크는 아직도 느리다. 디스크 탐색은 되도록 피한다.
  • 단순한 압축 알고리즘은 빠르다. 네트워크로 보내기 전에 압축한다.
  • 데이터 센터가 다른 지역에 있으면 데이터를 주고받는 데 시간이 걸린다.

가용성

가용률은 보통 99%에서 100% 사이로 표시한다. 클라우드 업체는 SLA(서비스 수준 협약)로 99.9% 이상을 약속한다. 9가 하나 늘 때마다 허용되는 장애 시간이 10분의 1로 준다.

가용률하루한 주한 달한 해
99%14.40분1.68시간7.31시간3.65일
99.9%1.44분10.08분43.83분8.77시간
99.99%8.64초1.01분4.38분52.60분
99.999%864ms6.05초26.30초5.26분
99.9999%86.4ms604.8ms2.63초31.56초

예제: 트위터 QPS와 저장소

가정

  • 월간 사용자 3억 명, 그중 50%가 매일 사용
  • 사용자당 하루 평균 트윗 2건
  • 트윗의 10%에 미디어 포함
  • 데이터는 5년 보관

트윗 하나의 크기

  • tweet_id: 64바이트
  • 본문: 140바이트
  • 미디어: 1MB
항목계산결과
일간 사용자(DAU)3억 × 50%1.5억
QPS1.5억 × 2 ÷ 24시간 ÷ 3,600초약 3,500
최대 QPSQPS × 2약 7,000
미디어 저장(하루)1.5억 × 2 × 10% × 1MB30TB
미디어 저장(5년)30TB × 365 × 5약 55PB

추정할 때의 요령

토론 질문

  1. 최대 QPS를 평균의 2배로 잡는 근거는 무엇일까? 서비스 종류에 따라 배수를 바꿔야 하는 경우는?
  2. 트위터 예제에서 본문(140바이트) 저장량은 왜 계산에서 빠졌을까? 넣으면 결과가 얼마나 달라질까?
  3. 99.99%를 약속하려면 한 달에 몇 분까지 장애를 허용할 수 있나? 배포 중 중단 시간은 여기에 포함될까?
CHAPTER 3

시스템 설계 면접 공략법

시스템 설계 면접은 정답을 맞히는 자리가 아니다. 모호한 문제를 함께 좁혀 가며 협업 능력, 압박 속 문제 해결, 좋은 질문, 트레이드오프 판단을 보여 주는 자리다.

면접관이 보는 것

긍정적 신호

  • 설계 기술과 협업 능력
  • 압박 속에서 문제를 푸는 과정
  • 모호한 문제를 건설적으로 해결하는 능력
  • 좋은 질문을 던지는 능력

부정적 신호

  • 과도한 엔지니어링(over-engineering)
  • 완고함, 편협함
  • 요구사항 확인 없이 답부터 내기

4단계 진행 (45분 면접 기준)

막대 폭은 단계별 권장 시간의 중간값 비율입니다.

  1. 01
    문제 이해와 설계 범위 확정 · 3~10분
    바로 답하지 않는다. 질문으로 요구사항과 가정을 분명히 하고, 가정은 적어 둔다.
    • 구체적으로 어떤 기능을 만드나?
    • 사용자는 몇 명이고, 3개월·6개월·1년 뒤에는 얼마나 늘어나나?
    • 회사가 쓰는 기술 스택은? 설계를 단순하게 해 줄 기존 서비스가 있나?
    예시(뉴스 피드): 모바일인가 웹인가, 핵심 기능은, 피드 정렬 기준(시간 역순인가 가중치인가), 친구 수 상한, 트래픽 규모, 이미지·비디오 포함 여부.
  2. 02
    개략적 설계안 제시와 동의 구하기 · 10~15분
    최초 설계안을 내고 면접관을 팀원처럼 대하며 의견을 구한다.
    • 클라이언트, API, 웹 서버, 데이터 저장소, 캐시, CDN, 메시지 큐 등을 상자로 그린다.
    • 개략적 추정으로 설계가 규모 제약을 맞추는지 확인한다. 추정이 필요한지는 면접관에게 먼저 묻는다.
    • 여유가 있으면 핵심 사용 사례를 몇 개 따라가 보고, API 엔드포인트와 DB 스키마도 이야기한다.
  3. 03
    상세 설계 · 10~25분
    면접관과 우선순위를 정하고 중요한 구성 요소를 깊게 판다. 무엇을 팔지는 문제마다 다르다(URL 단축기는 해시 함수, 채팅은 지연 시간과 접속 상태, 처리율 제한은 알고리즘). 시간 관리가 중요하다. 페이스북 피드 순위의 EdgeRank 알고리즘처럼 규모 확장과 관계없는 세부에 시간을 쓰지 않는다.
  4. 04
    마무리 · 3~5분
    • 병목 지점과 개선할 점. 설계가 완벽하다고 말하지 않는다.
    • 설계를 한 번 요약한다(여러 안을 냈다면 특히).
    • 오류 상황: 서버 장애, 네트워크 단절 등.
    • 운영: 메트릭 수집, 모니터링, 로그, 배포.
    • 다음 규모: 사용자가 100만에서 1,000만으로 늘면 무엇을 바꿀까.
    • 시간이 남으면 그 밖의 세부 개선.

해야 할 것과 하지 말 것

해야 할 것하지 말 것
질문으로 가정이 맞는지 확인한다전형적인 면접 문제에 대비하지 않고 들어간다
요구사항을 이해한다. 정답은 없다요구사항과 가정을 확인하지 않고 설계를 시작한다
생각을 말로 하며 면접관과 소통한다처음부터 한 구성 요소만 깊게 판다
가능하면 여러 해법을 함께 내놓는다막혔는데 힌트를 청하지 않는다
큰 그림에 합의한 뒤 중요한 구성 요소부터 세부로 들어간다말없이 혼자 설계한다
면접관의 아이디어를 끌어낸다설계안을 다 냈으니 끝났다고 생각한다
포기하지 않는다

토론 질문

  1. 1단계에서 질문을 너무 많이 하면 시간이 모자란다. 꼭 물어야 할 질문 세 가지만 고른다면?
  2. 면접관이 "알아서 가정하세요"라고 하면 어떤 가정부터 세울까?
  3. 과도한 엔지니어링과 확장성을 고려한 설계는 어떻게 구분할까? 1장 백만 사용자 구성에 이 기준을 대 보면?