사용자 수에 따른 규모 확장성
서버 한 대에서 시작해 병목이 보일 때마다 구성 요소를 하나씩 붙여, 백만 사용자를 받는 구조까지 키워 나간다.
단계별로 붙이는 구성 요소
- 01단일 서버웹·앱·DB·캐시가 한 서버에. 사용자는 DNS로 IP를 얻고 HTTP 요청을 보내 HTML이나 JSON을 받는다.
- 02DB 분리웹 트래픽 처리와 DB를 나눠 각각 따로 확장한다.
- 03로드밸런서 + 웹 서버 여러 대사용자는 로드밸런서의 공개 IP로 접속하고, 서버끼리는 사설 IP로 통신한다. 한 대가 죽어도 나머지로 보낸다.
- 04DB 다중화쓰기는 주 DB, 읽기는 부 DB. 성능, 안정성, 가용성이 함께 좋아진다.
- 05캐시자주 읽는 데이터를 메모리에 두어 DB 왕복을 줄인다.
- 06CDN이미지·CSS·JS 같은 정적 파일을 사용자와 가까운 서버에서 내려준다.
- 07무상태 웹 계층세션을 공유 저장소로 옮겨 어느 서버로 가도 같게 만든다. 자동 확장이 가능해진다.
- 08데이터 센터 여러 개geoDNS로 가까운 센터로 보내고, 한 센터가 죽으면 다른 센터가 전부 받는다.
- 09메시지 큐생산자와 소비자를 분리해 각자 따로 확장한다.
- 10로그·메트릭·자동화규모가 커지면 사람이 직접 볼 수 없으므로 수집하고 자동화한다.
- 11DB 샤딩데이터 양 자체가 서버 한 대를 넘으면 샤딩 키로 나눠 저장한다.
백만 사용자 규모의 구성
DB: 관계형과 비관계형
기본 선택은 관계형 DB(조인, 트랜잭션). 아래 경우에는 비관계형(키-값, 그래프, 컬럼, 문서)을 고려한다.
- 아주 낮은 응답 지연이 필요할 때
- 데이터가 비정형이거나 관계형 데이터가 아닐 때
- 직렬화·역직렬화만 하면 될 때(JSON, YAML, XML)
- 아주 많은 양의 데이터를 저장해야 할 때
수직 확장과 수평 확장
| 수직 확장 (scale up) | 수평 확장 (scale out) | |
|---|---|---|
| 방법 | CPU·메모리 등 서버 사양을 올린다 | 서버 대수를 늘린다 |
| 장점 | 단순하다. 트래픽이 적을 때 좋은 선택 | 사실상 한계가 없고, 한 대가 죽어도 버틴다 |
| 단점 | 사양에 상한이 있다. 장애 자동 복구·다중화가 없어 서버가 죽으면 서비스 전체가 멈춘다 | 로드밸런서와 상태 관리가 필요하다 |
DB 다중화 (주-부)
쓰기는 주(master) DB만, 부(slave) DB는 주에서 사본을 받아 읽기만 처리한다. 대부분 서비스는 읽기가 훨씬 많아 부 DB가 여러 대다.
| 장애 상황 | 대응 |
|---|---|
| 부 DB 한 대가 죽음 | 부가 하나뿐이면 읽기를 잠시 주 DB로 보내고 새 부 DB를 띄운다. 여러 대면 나머지로 분산한다. |
| 주 DB가 죽음 | 부 DB 하나를 주로 승격한다. 부의 데이터가 최신이 아닐 수 있어 복구 스크립트로 빠진 데이터를 채운다. 실무에서는 다중 마스터, 원형 다중화 같은 방식도 쓴다. |
캐시
읽기 주도형 캐시 전략: 캐시에 있으면 바로 반환, 없으면 DB에서 읽어 캐시에 넣고 반환한다.
| 고려할 점 | 내용 |
|---|---|
| 언제 쓰나 | 갱신은 드물고 읽기가 잦을 때. 휘발성이라 영속적으로 보관할 데이터는 두지 않는다. |
| 만료 정책 | 너무 짧으면 DB를 자주 읽고, 너무 길면 원본과 어긋난다. |
| 일관성 | DB 갱신과 캐시 갱신이 한 트랜잭션이 아니라 어긋날 수 있다. 여러 지역으로 확장하면 더 어렵다. |
| 장애 대응 | 캐시 서버 한 대는 단일 장애 지점(SPOF)이다. 여러 지역에 나눠 둔다. |
| 메모리 크기 | 작으면 데이터가 자주 밀려나 성능이 떨어진다. 넉넉하게 잡는다. |
| 방출 정책 | LRU(가장 오래 안 쓴 것), LFU(가장 적게 쓴 것), FIFO(먼저 들어온 것). |
CDN
- 비용: 데이터 전송량으로 과금된다. 자주 쓰지 않는 콘텐츠는 빼는 게 낫다.
- 만료 시한: 시의성이 중요한 콘텐츠는 만료 시점을 신중히 정한다.
- 장애 대응: CDN이 응답하지 않으면 원본 서버에서 가져오도록 클라이언트를 만든다.
- 콘텐츠 무효화: CDN 업체 API로 무효화하거나, URL에 버전을 붙인다(
image.png?v=2).
무상태 웹 계층
상태 유지 서버
사용자 세션이 특정 서버에 있다. 같은 사용자는 항상 같은 서버로 보내야 하고(고정 세션), 서버를 추가·제거하거나 장애를 처리하기 어렵다.
무상태 서버
세션은 공유 저장소(RDB, Redis, NoSQL)에 둔다. 어느 서버로 가도 같고, 트래픽에 따라 서버를 자동으로 늘리고 줄일 수 있다.
데이터 센터 여러 개
geoDNS가 사용자 위치에 맞는 센터로 보낸다. 넘어야 할 과제는 세 가지다.
- 트래픽 우회: 장애가 나면 올바른 센터로 보내야 한다.
- 데이터 동기화: 센터마다 DB가 다르면 장애 때 다른 센터에 데이터가 없을 수 있다. 여러 센터에 다중화한다.
- 테스트와 배포: 여러 위치에서 테스트하고, 자동 배포로 모든 센터에 같은 서비스를 올린다.
메시지 큐
생산자는 메시지를 큐에 넣고, 소비자는 꺼내 처리한다. 소비자가 잠시 죽어 있어도 메시지는 남는다. 사진 보정처럼 오래 걸리는 작업을 큐에 넣고, 큐가 길어지면 작업 서버만 늘린다.
DB 샤딩
같은 스키마의 DB를 여러 샤드로 나누고 샤딩 키로 위치를 정한다(예: user_id % 4). 데이터를 고르게 나누는 키를 고르는 게 핵심이다.
| 문제 | 내용과 대응 |
|---|---|
| 재샤딩 | 샤드가 가득 차거나 분포가 고르지 않을 때 키 함수를 바꾸고 데이터를 옮겨야 한다. 안정 해시(5장)로 줄인다. |
| 유명인사 문제 | 특정 샤드에 요청이 몰리는 핫스팟. 유명인마다 샤드를 따로 주거나 더 잘게 나눈다. |
| 조인과 비정규화 | 여러 샤드에 걸친 조인이 어렵다. 비정규화해서 한 테이블에서 끝나게 한다. |
백만 사용자 체크리스트
- 웹 계층은 무상태로
- 모든 계층에 다중화
- 가능한 많은 데이터를 캐시
- 여러 데이터 센터 지원
- 정적 콘텐츠는 CDN으로
- 데이터 계층은 샤딩으로 확장
- 계층마다 독립 서비스로 분할
- 모니터링하고 자동화 도구 활용
토론 질문
- 주 DB가 죽어 부 DB를 승격할 때 잃을 수 있는 데이터는 무엇이고, 어떻게 줄일 수 있을까?
- 세션을 Redis로 옮기면 Redis가 새 단일 장애 지점이 되지 않을까? 어떻게 막을까?
- 캐시와 DB가 어긋났을 때 사용자에게 보이는 문제는? 쓰기 시 캐시를 지우는 방식과 갱신하는 방식 중 어느 쪽이 안전할까?
개략적인 규모 추정
정확한 값이 아니라, 설계 방향을 정할 수 있을 만큼의 어림값을 빠르게 낸다. 영어로는 back-of-the-envelope estimation(봉투 뒷면 계산).
2의 제곱수
| 제곱 | 근사값 | 이름 | 약자 |
|---|---|---|---|
| 210 | 1천 | Kilobyte | KB |
| 220 | 1백만 | Megabyte | MB |
| 230 | 10억 | Gigabyte | GB |
| 240 | 1조 | Terabyte | TB |
| 250 | 1천조 | Petabyte | PB |
응답 지연 값
구글의 제프 딘이 2010년 무렵 공개한 값이다. 지금 하드웨어로는 더 빠르지만 크기 차이를 가늠하는 데는 여전히 쓸 만하다.
| 연산 | 시간 |
|---|---|
| L1 캐시 참조 | 0.5 ns |
| 분기 예측 실패 | 5 ns |
| L2 캐시 참조 | 7 ns |
| 뮤텍스 락·언락 | 100 ns |
| 주 메모리 참조 | 100 ns |
| 1KB를 Zippy로 압축 | 10 µs |
| 1Gbps 네트워크로 2KB 전송 | 20 µs |
| 메모리에서 1MB 순차 읽기 | 250 µs |
| 같은 데이터 센터 안 왕복 | 500 µs |
| 디스크 탐색(seek) | 10 ms |
| 네트워크에서 1MB 순차 읽기 | 10 ms |
| 디스크에서 1MB 순차 읽기 | 30 ms |
| 캘리포니아 → 네덜란드 → 캘리포니아 패킷 | 150 ms |
표에서 읽어 낼 결론
- 메모리는 빠르고 디스크는 아직도 느리다. 디스크 탐색은 되도록 피한다.
- 단순한 압축 알고리즘은 빠르다. 네트워크로 보내기 전에 압축한다.
- 데이터 센터가 다른 지역에 있으면 데이터를 주고받는 데 시간이 걸린다.
가용성
가용률은 보통 99%에서 100% 사이로 표시한다. 클라우드 업체는 SLA(서비스 수준 협약)로 99.9% 이상을 약속한다. 9가 하나 늘 때마다 허용되는 장애 시간이 10분의 1로 준다.
| 가용률 | 하루 | 한 주 | 한 달 | 한 해 |
|---|---|---|---|---|
| 99% | 14.40분 | 1.68시간 | 7.31시간 | 3.65일 |
| 99.9% | 1.44분 | 10.08분 | 43.83분 | 8.77시간 |
| 99.99% | 8.64초 | 1.01분 | 4.38분 | 52.60분 |
| 99.999% | 864ms | 6.05초 | 26.30초 | 5.26분 |
| 99.9999% | 86.4ms | 604.8ms | 2.63초 | 31.56초 |
예제: 트위터 QPS와 저장소
가정
- 월간 사용자 3억 명, 그중 50%가 매일 사용
- 사용자당 하루 평균 트윗 2건
- 트윗의 10%에 미디어 포함
- 데이터는 5년 보관
트윗 하나의 크기
tweet_id: 64바이트- 본문: 140바이트
- 미디어: 1MB
| 항목 | 계산 | 결과 |
|---|---|---|
| 일간 사용자(DAU) | 3억 × 50% | 1.5억 |
| QPS | 1.5억 × 2 ÷ 24시간 ÷ 3,600초 | 약 3,500 |
| 최대 QPS | QPS × 2 | 약 7,000 |
| 미디어 저장(하루) | 1.5억 × 2 × 10% × 1MB | 30TB |
| 미디어 저장(5년) | 30TB × 365 × 5 | 약 55PB |
추정할 때의 요령
- 근사치를 쓴다: 99,987 ÷ 9.1은 100,000 ÷ 10으로 계산한다. 면접에서는 정확한 답보다 풀이 과정을 본다.
- 가정을 적어 둔다: 나중에 다시 살펴볼 수 있다.
- 단위를 붙인다: "5"가 5KB인지 5MB인지 헷갈리지 않게.
- 자주 나오는 추정 항목: QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수.
- 하루 86,400초는 약 105초로 잡으면 암산이 빠르다.
토론 질문
- 최대 QPS를 평균의 2배로 잡는 근거는 무엇일까? 서비스 종류에 따라 배수를 바꿔야 하는 경우는?
- 트위터 예제에서 본문(140바이트) 저장량은 왜 계산에서 빠졌을까? 넣으면 결과가 얼마나 달라질까?
- 99.99%를 약속하려면 한 달에 몇 분까지 장애를 허용할 수 있나? 배포 중 중단 시간은 여기에 포함될까?
시스템 설계 면접 공략법
시스템 설계 면접은 정답을 맞히는 자리가 아니다. 모호한 문제를 함께 좁혀 가며 협업 능력, 압박 속 문제 해결, 좋은 질문, 트레이드오프 판단을 보여 주는 자리다.
면접관이 보는 것
긍정적 신호
- 설계 기술과 협업 능력
- 압박 속에서 문제를 푸는 과정
- 모호한 문제를 건설적으로 해결하는 능력
- 좋은 질문을 던지는 능력
부정적 신호
- 과도한 엔지니어링(over-engineering)
- 완고함, 편협함
- 요구사항 확인 없이 답부터 내기
4단계 진행 (45분 면접 기준)
막대 폭은 단계별 권장 시간의 중간값 비율입니다.
- 01문제 이해와 설계 범위 확정 · 3~10분바로 답하지 않는다. 질문으로 요구사항과 가정을 분명히 하고, 가정은 적어 둔다.
- 구체적으로 어떤 기능을 만드나?
- 사용자는 몇 명이고, 3개월·6개월·1년 뒤에는 얼마나 늘어나나?
- 회사가 쓰는 기술 스택은? 설계를 단순하게 해 줄 기존 서비스가 있나?
- 02개략적 설계안 제시와 동의 구하기 · 10~15분최초 설계안을 내고 면접관을 팀원처럼 대하며 의견을 구한다.
- 클라이언트, API, 웹 서버, 데이터 저장소, 캐시, CDN, 메시지 큐 등을 상자로 그린다.
- 개략적 추정으로 설계가 규모 제약을 맞추는지 확인한다. 추정이 필요한지는 면접관에게 먼저 묻는다.
- 여유가 있으면 핵심 사용 사례를 몇 개 따라가 보고, API 엔드포인트와 DB 스키마도 이야기한다.
- 03상세 설계 · 10~25분면접관과 우선순위를 정하고 중요한 구성 요소를 깊게 판다. 무엇을 팔지는 문제마다 다르다(URL 단축기는 해시 함수, 채팅은 지연 시간과 접속 상태, 처리율 제한은 알고리즘). 시간 관리가 중요하다. 페이스북 피드 순위의 EdgeRank 알고리즘처럼 규모 확장과 관계없는 세부에 시간을 쓰지 않는다.
- 04마무리 · 3~5분
- 병목 지점과 개선할 점. 설계가 완벽하다고 말하지 않는다.
- 설계를 한 번 요약한다(여러 안을 냈다면 특히).
- 오류 상황: 서버 장애, 네트워크 단절 등.
- 운영: 메트릭 수집, 모니터링, 로그, 배포.
- 다음 규모: 사용자가 100만에서 1,000만으로 늘면 무엇을 바꿀까.
- 시간이 남으면 그 밖의 세부 개선.
해야 할 것과 하지 말 것
| 해야 할 것 | 하지 말 것 |
|---|---|
| 질문으로 가정이 맞는지 확인한다 | 전형적인 면접 문제에 대비하지 않고 들어간다 |
| 요구사항을 이해한다. 정답은 없다 | 요구사항과 가정을 확인하지 않고 설계를 시작한다 |
| 생각을 말로 하며 면접관과 소통한다 | 처음부터 한 구성 요소만 깊게 판다 |
| 가능하면 여러 해법을 함께 내놓는다 | 막혔는데 힌트를 청하지 않는다 |
| 큰 그림에 합의한 뒤 중요한 구성 요소부터 세부로 들어간다 | 말없이 혼자 설계한다 |
| 면접관의 아이디어를 끌어낸다 | 설계안을 다 냈으니 끝났다고 생각한다 |
| 포기하지 않는다 |
토론 질문
- 1단계에서 질문을 너무 많이 하면 시간이 모자란다. 꼭 물어야 할 질문 세 가지만 고른다면?
- 면접관이 "알아서 가정하세요"라고 하면 어떤 가정부터 세울까?
- 과도한 엔지니어링과 확장성을 고려한 설계는 어떻게 구분할까? 1장 백만 사용자 구성에 이 기준을 대 보면?