주제 허브

Kafka와 메시지 기반 연동을 어디까지 다뤄 봤나

Kafka와 메시징

아웃박스와 멱등 소비자로 정확히 한 번을 흉내 내는 방법부터, 파티션 순서 보장과 브로커 장애 실험, CDC 파이프라인까지. 직접 만든 결제·시세 파이프라인과 같은 문제를 푼 회사들의 글을 나란히 둔다.

47편 직접 만들고 재 본 것 25 기술 블로그 리뷰 11 컨퍼런스 발표 리뷰 11 최근 글 2026/09/19

먼저 읽을 글

직접 만들고 재 본 것 ParityPay로 검증하는 결제 정합성 5 - DB 커밋과 Kafka 발행 사이: Transactional Outbox와 at-least-once 소비자 2026/03/16 직접 만들고 재 본 것 ParityPay로 검증하는 결제 정합성 8 - Kafka에서 중복·유실·순서 역전을 직접 만들어 보기: 멱등 소비자와 Outbox가 막는 것과 못 막는 것 2026/04/09 직접 만들고 재 본 것 market.ticks 파티션 × 컨슈머 격자 — 키가 같아도 순서가 깨진 이유, 크래시 하나가 시세 전체를 멈춘 이유, 파티션 이웃이 인질이 되는 순간 2026/07/13 기술 블로그 리뷰 네이버 D2 「일 3,000만 건의 네이버페이 주문 메시지를 처리하는 Kafka 시스템의 무중단 전환 사례」 리뷰 — 두 벌로 발행해 대조한 검증기와, 발행 제어 키를 파티션 키와 같게 둔 이유 2026/07/22 기술 블로그 리뷰 컬리 「컬리의 입고 시스템이 외부 인입 데이터를 안전하게 동기화하는 방법」 리뷰 — 145회 재시도가 맞는 도메인과 재시도를 금지한 도메인, 그리고 발행부와 수신부가 각자 책임지는 구조 2026/07/27 컨퍼런스 발표 리뷰 SLASH 23 리뷰 - Kafka 이중화로 다양한 장애 상황 완벽 대처하기: Active-Standby를 믿지 않고 Active-Active로 간 이유와 IDC 장애 당일의 순서 2026/06/16

직접 만들고 재 본 것

25편

1. 2026/03/16 ParityPay로 검증하는 결제 정합성 5 - DB 커밋과 Kafka 발행 사이: Transactional Outbox와 at-least-once 소비자 Payment Kafka Transactional Outbox Idempotency
2. 2026/04/09 ParityPay로 검증하는 결제 정합성 8 - Kafka에서 중복·유실·순서 역전을 직접 만들어 보기: 멱등 소비자와 Outbox가 막는 것과 못 막는 것 Payment Kafka Transactional Outbox Idempotency
3. 2026/07/13 market.ticks 파티션 × 컨슈머 격자 — 키가 같아도 순서가 깨진 이유, 크래시 하나가 시세 전체를 멈춘 이유, 파티션 이웃이 인질이 되는 순간 Kafka Partitioning Ordering Consumer Rebalance
4. 2026/09/19 CDC의 원리와 한계 - 로그 기반 변경 포착, 초기 스냅샷, 스키마 변경 CDC Debezium Database Kafka
5. 2026/08/09 파티셔닝과 샤딩 - 기준 선택, 로컬과 글로벌 인덱스, 재분배 비용 Database Partitioning Sharding PostgreSQL
6. 2026/08/08 순서와 격리는 같은 자원을 반대로 당긴다 - 핫 키가 워커 하나를 넘는 순간 세 설계가 갈라지는 지점 Kafka Ordering Partitioning Concurrency
7. 2026/08/03 API 버저닝과 호환성 - 스키마 진화 규칙 API Design Versioning Compatibility Schema
8. 2026/07/08 WebSocket push와 REST polling을 클라이언트 1만 개에서 재다 — 지연과 서버 비용, Kafka 정지 45초, 느린 소비자 25개 WebSocket STOMP Polling Kafka
9. 2026/06/03 로그 컴팩션과 보존 - 상태 토픽이 보장하는 것과 하지 않는 것 Kafka Log Compaction Retention Messaging
10. 2026/06/01 가격이 아니라 이벤트를 팔자 — monticker 설계 철학 Product Design Event Driven stock Architecture
11. 2026/05/21 토스증권 Kafka 데이터센터 이중화 리뷰: 미러링보다 오프셋이 어렵고, 재난과 작업의 기준이 다르다 Kafka Reliability Architecture Distributed System
12. 2026/05/18 이벤트 소싱과 CQRS - 언제 비용이 이익을 넘는가 Architecture Event Sourcing CQRS Event Driven
13. 2026/05/15 토스증권의 CQRS·검증기와 ParityPay의 스냅샷·대사: 읽기 모델을 분리하면 반드시 따라오는 세 가지 장치 CQRS Consistency Reconciliation Kafka
14. 2026/05/09 토스증권 공개 자료로 읽는 시세·주문 아키텍처: 무엇을 잃어도 되는지 먼저 정한다 Architecture Kafka Redis Concurrency
15. 2026/04/29 Spring Batch의 구조 - 청크, 파티셔닝, 재시작과 메타데이터 Spring Spring Batch Batch Chunk
16. 2026/04/18 전달 보장 - at-most-once, at-least-once, exactly-once가 각각 무엇을 약속하는가 Kafka Idempotent Consumer Transactional Outbox Messaging
17. 2026/03/03 컨슈머 그룹과 리밸런스 - eager, cooperative, static membership Kafka Consumer Group Rebalancing Messaging
18. 2026/02/25 합의 알고리즘 - Raft를 상태 기계로 읽기 Distributed System Consensus Raft Replication
19. 2026/01/16 Kafka의 저장 구조 - 세그먼트와 오프셋, 페이지 캐시와 zero-copy Kafka Apache Kafka Storage Page Cache
20. 2025/11/08 모든 도메인이 100% 정합성을 요구하지는 않는다: Post-Commit 이벤트와 재시도 3회 정책을 정한 기준 Spring Transaction Event Consistency
21. 2025/10/19 폴링 배치를 SQS 이벤트 파이프라인으로 바꾼 이유: 재시도, DLQ, 메시지 ID 멱등 SQS Messaging Idempotency Batch
22. 2024/09/05 Message Queue Message Queue
23. 2024/09/05 RabbitMQ Installation Message Queue RabbitMQ
24. 2024/09/05 RabbitMQ with Spring Boot Message Queue RabbitMQ
25. 2024/09/05 RabbitMQ Message Queue RabbitMQ

기술 블로그 리뷰

11편

1. 2026/07/22 네이버 D2 「일 3,000만 건의 네이버페이 주문 메시지를 처리하는 Kafka 시스템의 무중단 전환 사례」 리뷰 — 두 벌로 발행해 대조한 검증기와, 발행 제어 키를 파티션 키와 같게 둔 이유 Naver Kafka Transactional Outbox CDC
2. 2026/07/27 컬리 「컬리의 입고 시스템이 외부 인입 데이터를 안전하게 동기화하는 방법」 리뷰 — 145회 재시도가 맞는 도메인과 재시도를 금지한 도메인, 그리고 발행부와 수신부가 각자 책임지는 구조 Kurly Transactional Outbox Retry Topic Dead Letter Topic
3. 2026/09/03 LINE 「초당 100만 건, LINE 앱에 Apache Kafka 종단 간 암호화 적용기」 리뷰 — 인터셉터와 시리얼라이저만으로 브로커에 평문을 남기지 않는 법 LINE Apache Kafka Encryption Security
4. 2026/08/26 LINE 「LINE에서 Kafka를 사용하는 방법 - 1편」 리뷰 — 초당 4GB 클러스터가 바이트가 아니라 요청 수를 제한하는 이유, 그리고 2,000틱짜리 파이프라인에서 같은 것을 본 기록 LINE Kafka Quota Multi-tenancy
5. 2026/08/06 무신사 「Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다」 리뷰 — 배치 없이 CDC와 Kafka Streams로 옮긴 결정, 그리고 통합 모델이 원본과 같다는 것을 누가 확인하는가 Musinsa CDC Kafka Streams Debezium
6. 2026/07/26 카카오 「잃어버린 리포트를 찾아서: 카카오 메시징 시스템의 경쟁 조건 문제와 안티 패턴 제거 과정」 리뷰 — 벤더가 8ms 만에 리포트를 보냈고, 우리는 101ms짜리 트랜잭션 안에 있었다 Kakao Race Condition Transaction Transactional Outbox
7. 2026/07/13 LINE 「도메인에 의존하지 않는 채팅 플랫폼은 어떻게 만들었을까?」 리뷰 — 사용자를 모르는 채팅 플랫폼, 웹으로 만든 클라이언트, SOFT STOP으로 갈아 끼우는 챗봇 시나리오 LINE Messaging Chat Platform Engineering
8. 2026/04/22 LINE 「기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다」 리뷰 — 블랙박스는 입력과 출력만 정의하면 통계로 같음을 증명할 수 있다 LINE Migration Verification Kafka
9. 2026/04/13 카카오 「PostgreSQL to ES: Kafka Connect CDC 파이프라인」 1·2편 리뷰 — 변경이 없어서 디스크가 차고, LSN이 사라져서 스냅샷을 다시 짜야 했던 CDC의 실제 운영 비용 Kakao CDC Debezium Kafka Connect
10. 2026/03/29 네이버 D2 「CDC 복제 이후 오라클이 느려졌다? child cursor 폭증이 만든 예상치 못한 문제」 리뷰 — 같은 SQL인데 바인딩 타입이 다르면 Oracle은 다른 쿼리로 본다 Naver Oracle JDBC CDC
11. 2025/12/12 네이버 D2 「6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기」 리뷰 — 복제·검증·복구를 셋으로 나누고, 옛 도구와 새 도구를 서로 모르게 같이 돌린 전환 Naver CDC Apache Flink Replication

컨퍼런스 발표 리뷰

11편

1. 2026/06/16 SLASH 23 리뷰 - Kafka 이중화로 다양한 장애 상황 완벽 대처하기: Active-Standby를 믿지 않고 Active-Active로 간 이유와 IDC 장애 당일의 순서 SLASH Kafka Reliability Distributed System
2. 2026/09/02 TMC 25 리뷰 - '주식모으기' 서비스로 살펴보는 대용량 트래픽 처리 노하우: 200만 주문을 3,000건으로 접는 풀링 주문과 그 대가 TMC Kafka Concurrency Batch
3. 2026/06/28 SLASH 24 리뷰 - 리플레이 검증으로 새로운 금융 시스템 안전하게 도입하기: 운영 트래픽을 그대로 재생해 차세대 원장을 검증하다 SLASH Testing Migration Kafka
4. 2026/05/29 SLASH 22 리뷰 - 애플 한 주가 고객에게 전달되기까지: 분산락 위에 낙관적 락을 얹고, 타임아웃을 실패로 확정하지 않는 해외주식 원장 SLASH Concurrency Idempotency Kafka
5. 2026/05/24 SLASH 22 리뷰 - 토스증권 실시간 시세 적용기: 런칭 직전에 폴링을 WebSocket으로 바꾸고, 한 달 만에 200만 계좌를 받아 낸 기록 SLASH WebSocket Kafka Real-time
6. 2026/05/20 SLASH 24 리뷰 - 대규모 사용자 기반의 마이데이터 서비스 안정적으로 운영하기: 클러스터 단위 서킷 코디네이터, 웹소켓 얼리 리턴, 7일 배치 분산 SLASH MyData Circuit Breaker WebSocket
7. 2026/05/16 SLASH 24 리뷰 - Next 코어뱅킹, MSA와 MySQL로 여는 평생 무료 환전 시대: Oracle을 버린 이유, 30ms 환전, 자정에도 멈추지 않는 잔액 대사 SLASH Toss Bank Core Banking MySQL
8. 2026/03/30 SLASH 23 리뷰 - 은행 최초 코어뱅킹 MSA 전환기 (feat. 지금 이자 받기): 80회 DML을 50회로, MCI 대비 170배, 빅뱅 없는 전환 SLASH Toss Bank Core Banking MSA
9. 2026/03/15 SLASH 22 리뷰 - 왜 은행은 무한스크롤이 안되나요: 채널계가 거래내역을 직접 갖기 위한 여덟 가지 방어 SLASH Toss Bank Core Banking Kafka
10. 2026/02/16 SLASH 22 리뷰 - 토스뱅크의 완전히 새로운 대출 시스템: Flyway + Hibernate validate, 대외기관 파이프라인, 연동 서킷과 대기열 SLASH Toss Bank Loan Flyway
11. 2026/02/05 SLASH 21 리뷰 - 토스 서비스를 구성하는 서버 기술: 두 데이터센터 사이의 트래픽 이동, Istio 도입 후 남은 것, Kafka 두 클러스터 SLASH Server Platform Kubernetes Istio