1. AWS 데이터 플랫폼 현대화 및 통합 (Re:Architect) (2025.05 ~ 2026.03)

Role: Architect & Main Developer

• Consolidation Strategy: Vertica(IDC), Hive/EMR, Redshift로 파편화된 스택을 MWAA & Redshift(Spectrum) Lakehouse로 통합하여 관리 포인트 일원화 및 SSOT 확보.
• Redshift Cluster Separation (Producer/Consumer): 기존 단일 클러스터에서 분석, ETL, 서비스 로드가 경합하여 발생하던 간섭(장애) 문제를 해결하기 위해 클러스터 분리 아키텍처 설계 중. ETL 전용의 Producer 클러스터와, 비용 효율적이고 유연한 확장이 가능한 Serverless 기반의 Consumer 클러스터로 역할을 분리하여 서비스 안정성 100% 보장을 목표로 고도화 진행.
• Architecture Re-design: 데이터 온도에 따른 Hot(Kafka/Clickhouse) – Warm(Debezium/Kafka/Flink) – Cold(S3/Glue) 3-Layer 파이프라인 아키텍처 설계. 최근에는 Warm Path 데이터 수집(Ingestion) 아키텍처 강화를 위해 EKS 클러스터 구축 및 MSK Source/Sink Connector를 도입하여 실시간 파이프라인 고도화 진행 중.

2. MWAA 환경 표준화 및 Data GitOps (CI/CD) 체계 구축 (2026.01 ~ 2026.02)

Role: Technical Lead / SRE

• MWAA Multi-Cluster Architecture: 엄격한 보안 요구사항(망분리 및 데이터 반출 통제)을 충족하기 위해 Terraform을 활용하여 용도별(보안 검토용 반출망, 분석가용 자유망, 데이터팀 운영망)로 3개의 MWAA 클러스터를 프로비저닝.
• GitLab Runner & 방화벽/권한 제어: 사내 보안망을 관통하는 배포 환경을 구축하기 위해 GitLab Runner를 직접 세팅하고, 방화벽 및 IAM 권한 제어를 통해 안전한 CI/CD 통로 확보.
• Dynamic CI/CD Pipeline: DAG 배포와 MWAA 업데이트 파이프라인 분리. 변경된 디렉토리에만 동작하도록 최적화하고, 환경별로 Variables를 동적으로 주입하여 완전 자동화된 Data GitOps 환경을 사내 최초로 완성.

3. 데이터 플랫폼 관측성(Observability) 강화 및 SRE 체계 정립 (2025.01 ~ 2025.04)

Role: Technical Lead / SRE

• Observability & Alerting: 핵심 메트릭과 임계치를 세분화하여 정의. 크리티컬 장애 발생 시 CloudWatch → Slack → OpsGenie 자동 전화 전파(On-call) 파이프라인을 구축하여 신속한 인지 및 장애 복구 시간(MTTR) 단축 달성.
• Reliability Engineering: 고가용성 모니터링 환경을 기반으로 DAG 코딩 컨벤션과 리소스 최적화 가이드를 제정하여 RE(Reliability Engineering) 문화를 성공적으로 정착시킴.

1. 유동성 공급 인센티브 (주문 랭킹전) 백엔드 및 파이프라인 구축 (2025.11 ~ 2025.12)

Role: Technical Lead & Developer

• Redshift & Airflow Core: 신규 B2C 서비스 ‘주문 랭킹전’에 필요한 시간 단위 집계 배치 파이프라인 및 백엔드 API 직접 개발.
• Result: 비상계엄 당시 발생한 극한의 트래픽(1일 내 수억 건 주문) 데이터를 활용한 부하 테스트를 거쳐 파이프라인의 내결함성 검증, 30회 이상의 라운드를 지연 및 장애 없이 운영하여 정규 프로그램화 확정.

2. 타 거래소(업비트) 슬리피지 준실시간 분석 파이프라인 구축 (2025.07 ~ 2025.09)

Role: Data Engineer

• Modern Data Stack: 타 거래소 주문 데이터 기반으로 지표를 생성하는 10분 단위 마이크로 배치 파이프라인(Clickhouse -> Hive -> Redshift) 구축.
• Result: 1시간 이상 소요되던 슬리피지 데이터 지연 시간(Latency)을 10분 이내로 단축 및 안정화.

1. 신규 비즈니스 지원 및 Analytics Engineering 기반 플랫폼 확장 (2025.01 ~ 2025.09)

Role: DW Modeler & Data Analytics Engineer

• Banking Migration & Data Modeling: 주거래 은행 변경 및 법인 거래 허용에 따른 실적 분석 데이터 파이프라인 구축 등 데이터 마트(DM)를 설계하는 Analytics Engineering 주도.
• Compliance & Data Quality (DQ): 금감원 감사를 위한 대규모 자산 스냅샷 프로시저 최적화하여 성공적으로 대응. 금융 데이터 정합성을 보장하기 위해 각 단계마다 자체적인 통계/룰 기반 DQ 검증 모듈 연동.
• Service Expansion: BingX 오더북 공유 등 신규 서비스 마트를 구축하고 향후 dbt 및 Great Expectations 기반 선언적 환경으로 전환하기 용이하도록 쿼리 모듈화 작업 병행.

1. LLM/Agent 기반 데이터 파이프라인 개발 자동화 툴체인 구축

Role: AI Automation Developer

• 실무 AX(AI Transformation) 도입: 사내 실무 환경에 Claude Code 및 LLM API를 적극 도입하여, 사내 컨벤션에 맞춘 SQL 기반 Airflow DAG 자동 생성기 및 RDB Ingestion 파이프라인 생성기 등 내부 개발 자동화 툴체인을 직접 구축.
• Result: 파편화된 스크립트와 수작업에 의존하던 파이프라인 구축 리드 타임을 평균 6시간에서 1시간 이내로 획기적으로 단축하여 조직 전체의 엔지니어링 생산성 극대화.

1. 보안 폐쇄망 내 차세대 금융 데이터 웹 서비스 (MSA) 백엔드 설계 및 상용화 (2024.03 ~ 2024.11)

Role: Technical Lead & Architect

• 수행: 5개의 Docker Swarm Cluster와 Linux 환경을 구축하여 기존 Windows 기반 배치 파이프라인을 Container/MSA 기반으로 전면 이관. Python(FastAPI) 기반 Backend API 아키텍처 설계.
• 성과: 사내 최초로 LGTM(Loki, Grafana, Tempo, Prometheus) 스택을 도입해 전 구간 통합 모니터링을 구축. 복잡한 금융 데이터 실시간 시각화 웹 솔루션을 무장애로 런칭하여 대외 B2B 상용화 기반 및 신규 매출 창출.

1. 비정형 금융 계약서(IRS/CRS) 데이터화 자동화 시스템 (100% 정합성 지향) (2022.07 ~ 2022.12)

Role: Project Lead

• 수행: PDF Text Layer 파싱과 보수적인 정규식을 결합한 하이브리드 파이프라인 개발. 100% 매칭되는 정형 유형만 자동화하고 나머지는 수동 검토하는 Fail-safe 구조 적용.
• 성과: 수기 입력 업무의 약 80%를 자동화하여 담당자 업무 시간 단축 및 운영 효율성 개선.

2. 다양한 소스의 금융 데이터 실시간/배치 수집 및 E2E 데이터 파이프라인 구축 (2020.01 – 2022.07)

• 다양한 정형/비정형 원천 데이터(미국 채권 TRACE 공시, 장내/외 호가, 웹 크롤링)를 여러 방식(REST API, 웹 스크래핑, FTP 등)으로 수집하여 가공·적재하는 파이프라인(Python/SQL) 설계 및 구축.
• 단순 수집을 넘어, RabbitMQ 메시지 큐 아키텍처를 도입하여 다수 분산 노드 간 동기화를 보장하고, 인프라 세팅부터 비즈니스 로직 구현, 웹 서비스 API 제공까지 아우르는 E2E(End-to-End) 풀스택 데이터 엔지니어링 수행.

1. 차세대 금융자산 평가 엔진 아키텍처 재설계 및 상용화 (2018.08 ~ 2021.12)

Role: Core Engine Developer & Architect

• 수행: Modern C++(17) 도입 및 객체지향 아키텍처로 리팩토링. 포인터, 레퍼런스, 이동 시맨틱을 적용하여 무의미한 값 복사 오버헤드 제거.
• 성과: 기존 멀티스레드 대비 싱글 스레드 환경에서 20~30% 빠른 처리 속도 달성. 약 1.4억 건(20년 치) 시장 데이터 백테스팅으로 정합성 입증. 대형 금융기관 납품 완료.

2. 본부 비즈니스 및 프로세스 혁신 (2018.08 ~ 2021.12)

Role: Core Engine Developer & Architect

• 수행: 본부(약 100명 규모)의 비즈니스 및 프로세스 혁신을 주도. 전 부서 직책자/실무자 등의 면밀한 인터뷰, 프로세스 분석을 통해 문제점 도출 및 개선 방안 제시. 이를 기술적으로 해결할 수 있도록 프로그램 개발 및 운영.
• 성과: 비정형 데이터 처리 자동화, UI 개선, 업무 자동화 프로그램 개발, 실무자 개발 교육 및 멘토링 등 폭넓은 업무를 수행하며 본부의 개발 역량 강화 및 업무 효율성 개선에 기여.