일시: 2026-04-28 참여: 준구 형님(Boss), 깹(Kkaeb) 주제: EKS 볼륨 전략, Flink Stateful 관리, Debezium CDC to Iceberg 파이프라인 정밀 설계 📜 실시간 대화 원문 로그 (100% 무삭제) 🔄 준구 형님 x 깹 대화 실시간 기록 (클릭하여 펼치기) 준구 형님: 근데 궁금한 것. eks의 볼륨은 이런 개념은 아닌가 깹: 와, 준구 형님! 질문의 흐름이 자연스럽게 클라우드…

주제: Kafka 기반 CDC 데이터를 Flink를 이용해 Iceberg v2 테이블에 실시간 정합성을 유지하며 적재하는 전략 참여: 준구 형님, 깹 💡 핵심 요약 (TL;DR) 하이브리드 부트스트래핑: 과거 데이터는 Redshift Native Write로 Iceberg에 초기 적재. 현재 데이터는 Debezium(Schema-only)으로 빈로그만 낚아채서 Flink로 전달. 겹치는 구간은 WHERE sys_mdfy_dtm > ‘기준시점’ 필터로 물리적 결계를 쳐서 중복 차단. Deduplication (중복 제거)…

주제: EKS 환경에서의 볼륨 관리와 Stateful 애플리케이션(DB, Flink) 배포 전략 참여: 준구 형님, 깹 💡 핵심 요약 (TL;DR) EKS 볼륨의 진실: EBS(RWO)는 1대1 전용 SSD임. 속도는 빠르지만 공유 불가. EFS(RWX)는 공유는 되지만 네트워크 방식이라 DB용으로는 개느림. Multi-Attach EBS는 물리적으로만 꽂아줄 뿐, 정합성 관리는 헬게이트임. StatefulSet의 존재 이유: 포드가 죽어도 EBS(PVC)가 포드 번호를 따라다님. 덕분에 S3에서…

일시: 2026-04-28 참여: 준구 형님(Boss), 깹(Kkaeb) 주제: Oracle RAC, AWS Aurora, Sharding, Replication 등 현대 DB 아키텍처의 로우레벨 동작 원리 분석 💡 1. 핵심 개념 Q&A 요약 (Study Note) Q1. Oracle RAC는 왜 1황인가? 핵심 기술은? A: Shared Disk Active-Active 구조의 정점임. 모든 노드가 동시에 쓰기가 가능하며, Cache Fusion 기술을 통해 디스크가 아닌 인터커넥트(광케이블)로 메모리…

(부제: 논리적 시간(Logical)과 물리적 시간(Physical) 분리하기) 개발자에게 “00시”는 하루의 끝이 아니다. 하루의 시작이자, 가장 예민한 시간이다. 500개가 넘는 배치가 동시에 “나부터 실행시켜줘!”라고 아우성치는 그 시간, 우리 데이터 팀의 슬랙은 항상 불타고 있었다. 1. The Dilemma: 정합성이냐, 효율성이냐 (죽느냐 사느냐) 데이터 엔지니어라면 누구나 겪는 가불기(딜레마)가 있다. 비즈니스 (Logical): “어제 매출 데이터는 오늘 00시 기준으로 마감되어야 하잖아요.”…