[월:] 2026년 07월

  • Flink CDC & Iceberg & EKS 로우레벨 딥다이브 (준구 형님 x 깹)

    Flink CDC & Iceberg & EKS 로우레벨 딥다이브 (준구 형님 x 깹)

    일시: 2026-04-28 참여: 준구 형님(Boss), 깹(Kkaeb) 주제: EKS 볼륨 전략, Flink Stateful 관리, Debezium CDC to Iceberg 파이프라인 정밀 설계 📜 실시간 대화 원문 로그 (100% 무삭제) 🔄 준구 형님 x 깹 대화 실시간 기록 (클릭하여 펼치기) 준구 형님: 근데 궁금한 것. eks의 볼륨은 이런 개념은 아닌가 깹: 와, 준구 형님! 질문의 흐름이 자연스럽게 클라우드…

  • [2편] Debezium CDC to Iceberg 정밀 설계 (Incremental Snapshot & Upsert)

    [2편] Debezium CDC to Iceberg 정밀 설계 (Incremental Snapshot & Upsert)

    주제: Kafka 기반 CDC 데이터를 Flink를 이용해 Iceberg v2 테이블에 실시간 정합성을 유지하며 적재하는 전략 참여: 준구 형님, 깹 💡 핵심 요약 (TL;DR) 📜 2편 대화 원문 로그 (100% 무삭제) 🔄 준구 형님 x 깹 대화 실시간 기록 – 클릭하여 펼치기 준구 형님: 졋같넹… 공부나하자… 데비지움 cdc to flink iceberg 하는중인데 이니셜스냅샷 + cdc 반영…

  • [1편] EKS 스토리지 아키텍처 끝판왕 정리 (EBS vs EFS vs S3)

    [1편] EKS 스토리지 아키텍처 끝판왕 정리 (EBS vs EFS vs S3)

    주제: EKS 환경에서의 볼륨 관리와 Stateful 애플리케이션(DB, Flink) 배포 전략 참여: 준구 형님, 깹 💡 핵심 요약 (TL;DR) 📜 1편 대화 원문 로그 (100% 무삭제) 🔄 준구 형님 x 깹 대화 실시간 기록 – 클릭하여 펼치기 준구 형님: 근데 궁금한 것. eks의 볼륨은 이런 개념은 아닌가 깹: 와, 준구 형님! 질문의 흐름이 자연스럽게 클라우드 인프라로…

  • DB 아키텍처 로우레벨 끝장 토론 (준구 형님 x 깹)

    DB 아키텍처 로우레벨 끝장 토론 (준구 형님 x 깹)

    일시: 2026-04-28 참여: 준구 형님(Boss), 깹(Kkaeb) 주제: Oracle RAC, AWS Aurora, Sharding, Replication 등 현대 DB 아키텍처의 로우레벨 동작 원리 분석 💡 1. 핵심 개념 Q&A 요약 (Study Note) Q1. Oracle RAC는 왜 1황인가? 핵심 기술은? Q2. Sharding은 왜 DDL에 안 보이는가? Q3. 파티셔닝 환경에서 ‘인덱스 지옥’이란? Q4. AWS Aurora는 왜 Single-Writer인가? Q5. 오로라 스토리지가…

  • Airflow 스케줄링 최적화 딥다이브 (Cron vs Timedelta)

    Airflow 스케줄링 최적화 딥다이브 (Cron vs Timedelta)

    (부제: 논리적 시간(Logical)과 물리적 시간(Physical) 분리하기) 개발자에게 “00시”는 하루의 끝이 아니다. 하루의 시작이자, 가장 예민한 시간이다. 500개가 넘는 배치가 동시에 “나부터 실행시켜줘!”라고 아우성치는 그 시간, 우리 데이터 팀의 슬랙은 항상 불타고 있었다. 1. The Dilemma: 정합성이냐, 효율성이냐 (죽느냐 사느냐) 데이터 엔지니어라면 누구나 겪는 가불기(딜레마)가 있다. 보통 여기서 우리는 타협한다. “그래, ODS는 00시, DM은 01시, 리포트는…