Vortex - 고성능 Columnar 파일 포맷

2 weeks ago 8

"The LLVM of columnar file formats"
압축된 Apache Arrow 배열을 메모리, 디스크, 네트워크를 통해 다루기 위한 툴킷을 포함한 Columnar 형식 파일 포맷
Apache Parquet의 야심찬 후계자로, 100-200배 빠른 랜덤 액세스 읽기와 2-10배 빠른 스캔을 지원하면서도 zstd를 사용한 Parquet과 거의 동일한 압축률과 쓰기 처리량을 유지함
- 매우 큰 테이블(수만개의 컬럼)과 GPU 상에서의 압축 해제도 지원
Vortex는 열 기반 파일 형식에 대해 Apache DataFusion이 쿼리 엔진에 대해 제공하는 것과 같은 기능을 하도록 설계됨
- 즉, 높은 확장성, 매우 빠른 속도, 배터리 포함 기능이 특징

[!주의] > 아직 활발히 개발 진행 중임

Vortex의 핵심 설계 원칙 중 하나는 논리적 관심사와 물리적 관심사의 엄격한 분리임
- 예: Vortex 배열은 논리적 데이터 타입(스칼라 요소의 타입)과 물리적 인코딩(배열 자체의 타입)으로 정의됨
내장 인코딩은 주로 Apache Arrow 인메모리 포맷을 모델링하기 위해 설계됨. 또한 다른 인코딩의 유용한 구성 요소로 사용되는 내장 인코딩(sparse, chunked)도 있음. 확장 인코딩은 주로 길이 인코딩이나 사전 인코딩 같은 압축된 인메모리 배열을 모델링하기 위한 것임
vortex-serde는 Vortex 배열의 저수준 물리적 세부 사항을 다루도록 설계됨. 어떤 인코딩을 사용할지나 데이터를 어떻게 논리적으로 청크화할지는 Compressor 구현에 맡겨짐
(개발 중인) Vortex 파일 포맷의 독특한 속성 중 하나는 데이터의 물리적 레이아웃을 파일의 푸터에 인코딩한다는 점임. 이를 통해 파일 포맷은 효과적으로 자기 기술적이 되고, 파일 포맷 명세의 호환성을 깨지 않고도 진화할 수 있음
WASM 디코더를 파일 자체에 선택적으로 포함시켜 전방 호환성을 지원하도록 설계됨. 이는 다른 columnar 파일 포맷을 괴롭혀 온 빠른 경화를 피하는 데 도움이 될 것임

Vortex의 기본 압축 전략은 BtrBlocks 논문을 기반으로 함
- 대략적으로, 각 데이터 청크에 대해 최소 ~1%의 데이터 샘플을 취함
- 그런 다음 경량 인코딩 집합으로 (재귀적) 압축을 시도함
- 그 중 가장 성능이 좋은 인코딩 조합을 선택해 전체 청크를 인코딩함
- 이는 매우 비용이 클 것처럼 들리지만, 청크에 대한 기본 통계만 있으면 많은 인코딩을 저렴하게 가지치기하여 검색 공간이 폭발적으로 커지지 않도록 할 수 있음

Vortex는 각 인코딩이 계산 함수의 구현을 특수화하여 가능한 한 압축 해제를 피할 수 있는 기능을 제공함. 예를 들어, 사전 인코딩된 UTF8 배열을 필터링하는 것은 먼저 사전을 필터링하는 것이 더 저렴함
Vortex는 효율적인 스캔과 푸시다운에 필요할 수 있는 기본 계산 연산을 구현할 뿐, 완전한 계산 엔진이 되려고 하지는 않음

Apache Arrow는 columnar 배열 데이터에 대한 상호운용의 사실상 표준임. 당연히 Vortex는 Apache Arrow와 최대한 호환되도록 설계됨
모든 Arrow 배열은 제로 카피로 Vortex 배열로 변환될 수 있음. Arrow 배열에서 생성된 Vortex 배열은 다시 제로 카피로 Arrow로 변환될 수 있음
Vortex와 Arrow는 서로 다르지만 상호 보완적인 목표를 가지고 있다는 점에 유의해야 함
Vortex는 논리적 타입과 물리적 인코딩을 명시적으로 구분하여 Arrow와 차별화됨. 이를 통해 Vortex는 더 복잡한 배열을 모델링하면서도 논리적 인터페이스를 노출할 수 있음
- 예: Vortex는 첫 번째 청크가 run-length 인코딩되고 두 번째 청크가 사전 인코딩된 UTF8 ChunkedArray를 모델링할 수 있음. Arrow에서는 RunLengthArray와 DictionaryArray가 호환되지 않는 별개의 타입이므로 이런 식으로 결합될 수 없음