Postgres 내부로 CDC를 밀어 넣은 방법

Snowflake는 외부 복제 도구가 맡던 변경 데이터 캡처(CDC) 를 Postgres 확장으로 옮겨, 변경분을 Apache Iceberg 테이블로 직접 전송하는 Data Mirroring을 공개 미리보기로 제공함 snowflake_cdc 확장은 스키마 변경과 DML·DDL 트랜잭션, 스냅샷과 변경분을 Postgres 내부 상태에 맞춰 조정하고 객체 저장소를 통해 생산자와 소비자를 분리함 복제는 쓰기→디코딩→캡처→적용 타임라인을 따르며, Postgres와 Snowflake 양쪽에서 트랜잭션 경계를 보존해 여러 테이블을 같은 Postgres 트랜잭션 시점까지 이동시킴 정확히 한 번 적용되는 삭제·삽입 스트림으로 비용이 큰 upsert를 피하고, Live Views가 미적용 변경 로그와 대상 테이블을 결합해 적용 주기가 길어도 1분 미만의 지연을 제공함 외부 커넥터와 추가 인프라 없이 변경 배치를 독립적으로 전송·적용해 스냅샷 충돌과 장애 복구 경쟁 조건을 줄이면서 운영·분석 데이터를 지속해서 동기화할 수 있음 기존 Postgres 복제의 한계 트랜잭션 데이터베이스의 데이터를 분석 데이터베이스로 옮기는 작업은 현대 데이터 아키텍처에 필수적이지만, 기존 방식은 취약한 도구와 높은 비용, 복잡한 운영을 수반함 Postgres의 주요 CDC 기능인 논리 디코딩(logical decoding)은 WAL 레코드를 행 단위 insert·update·delete 작업으로 변환해 네트워크 스트림으로 내보냄 스트림이 노출된 뒤에는 외부 클라이언트가 다음 작업을 책임져야 함 기존 데이터 백필과 새 테이블 스냅샷 스키마 변경과 테이블 생성·추가·제거·삭제 장애 후 재시작과 변경분 병합 트랜잭션 경계 보존과 용량 조정 외부 소비자는 Postgres 내부 상태를 알 수 없어 스키마 변경 시점, 스냅샷과 변경분의 정렬 상태, 네트워크 장애와 Postgres 장애의 차이를 직접 파악하기 어려움 Postgres 내장 논리 복제도 필요한 작업 중 일부만 처리함 Data Mirroring의 푸시 기반 구조 Data Mirroring은 Snowflake Postgres에서 Snowflake로 데이터를 낮은 비용과 지연으로 복제하면서 트랜잭션 일관성을 유지하는 공개 미리보기 기능임 변경분을 압축 Parquet 형식의 Apache Iceberg 테이블로 트랜잭션 배치 단위로 직접 보내고, Snowflake가 서버리스 방식으로 적용함 Amazon S3...