Meta(구 Facebook), 내부 사용하던 AI용 고성능 압축 솔루션 'OpenZL' 오픈소스로 공개

Meta(구 Facebook)가 내부적으로 사용해 온 고성능 데이터 압축 프레임워크 'OpenZL'을 오픈소스로 공개했습니다. 특히 AI 및 머신러닝 워크로드와 같이 방대한 양의 특수 데이터셋 처리에 최적화된 OpenZL은, 기존 범용 압축 솔루션의 한계를 뛰어넘는 높은 압축률과 빠른 속도를 동시에 제공합니다.

특징 및 기능

OpenZL의 가장 큰 특징은 데이터 형식에 최적화된 맞춤형 압축기를 생성하는 'Format-Aware' 압축 방식에 있습니다. 데이터의 구조를 분석하여 가장 효율적인 압축 알고리즘을 구축하므로, 데이터센터 워크로드에서 요구하는 빠른 처리 속도를 유지하면서도 범용 압축기로는 불가능했던 수준의 높은 압축률을 달성합니다.

또한, 생성된 모든 특수 압축기는 단일 범용 압축 해제기와 호환되어 시스템 유지보수가 용이하며, 'Trace Visualizer' 도구를 통해 압축 과정을 시각적으로 분석할 수 있는 기능도 제공합니다.

성능 데이터 (실레시아 압축 코퍼스 SAO 데이터 기준)

Meta의 이번 OpenZL 오픈소스 공개는 대용량 데이터 처리가 필수적인 AI 및 다양한 산업 분야에서 데이터 저장 및 전송 비용을 절감하고, 작업 효율성을 크게 향상시키는 데 기여할 것으로 기대됩니다.