AI 시대의 데이터 관리

7 hours ago 2

생성형 AI가 신뢰할 수 있는 데이터로 작동하지 않으면 분석 결과도 신뢰하기 어려워지면서, 데이터 관리는 기술 지원 업무에서 전략적 핵심 기능으로 격상됨
초기 애플리케이션 개발자가 데이터 구조까지 맡던 단계에서 데이터베이스 설계자/관리자, CIO, CDO로 역할이 분화됐으며, 데이터 무결성과 기업 전체의 일관된 이해가 주요 과제가 됨
정형 데이터에서는 데이터 모델과 데이터베이스를 직접 수정하지만, 생성형 AI 환경에서는 LLM에 들어가는 텍스트를 선별하고 정제하는 방식으로 간접 통제함
비정형 텍스트에는 전통적인 데이터 모델 대신 온톨로지/분류체계가 필요하며, 이를 기업 논리 데이터 모델(ELDM)과 결합하고 지속적으로 갱신해야 함
데이터가 여러 시스템/PC/인터넷에 분산되면서 물리적 중앙집중은 불가능해졌고, 기업 차원의 의미를 ELDM으로 통합하는 의미론적 중앙집중이 중요해짐

애플리케이션 개발 업무에서 시작된 데이터 관리

초기 컴퓨터 시스템에서는 애플리케이션 개발자가 요구사항 수집, 방법론 준수, 프로그래밍, 테스트와 함께 시스템이 사용할 데이터와 그 구조도 정의함
데이터 설계는 독립적인 기업 기능이 아니라 개발 과정에 포함된 여러 작업 중 하나였음

트랜잭션 처리와 데이터베이스 전문 역할의 등장

트랜잭션 처리 시스템이 확산되면서 응답 시간, 시스템 가용성, 트랜잭션 실행 무결성을 데이터베이스 설계에 반영해야 했음
이러한 요구를 전문적으로 다루는 데이터베이스 설계자가 등장하면서 데이터 관리가 독립된 업무로 인식되기 시작함
트랜잭션 처리 데이터베이스가 급증하자 여러 데이터베이스를 통제하고 조정하는 데이터베이스 관리자가 필요해짐

데이터 무결성 문제와 데이터 웨어하우스

서로 연결된 수많은 애플리케이션에 동일한 데이터 요소가 반복 저장되면서, 위치마다 서로 다른 값을 갖는 문제가 발생함
기업의 문제는 데이터를 보유하는 것에서 어떤 데이터를 믿어야 하는지를 판단하는 것으로 바뀜
애플리케이션과 기술을 추가하는 것만으로는 무결성 문제가 해결되지 않았으며, 오히려 문제를 확대하고 가속함
기술적 수정이 아니라 운영 데이터와 분석 데이터를 분리하는 아키텍처적 해결책이 필요해졌고, 그 결과 데이터 웨어하우스가 등장함

데이터 모델과 정형 데이터 환경

운영 데이터를 분석 데이터와 데이터 웨어하우스로 변환하려면 현재 존재하거나 앞으로 필요할 데이터 유형을 추상화한 데이터 모델이 필요함
운영 시스템과 데이터 웨어하우스는 각 레코드의 형식은 같고 내용만 달라지는 정형 데이터 환경으로 구성됨
애플리케이션, 데이터베이스, 트랜잭션 처리 데이터베이스의 정형 데이터는 데이터베이스 관리 시스템(DBMS)으로 관리됨
트랜잭션 시스템의 장애가 ATM, 항공 예약 시스템과 같은 실제 업무와 고객에게 직접 영향을 주면서 정확하고 안정적인 시스템과 데이터 관리의 가치가 높아짐

정형 데이터 관리자의 업무

데이터 모델을 구축한 뒤 경제 상황, 경쟁, 기술, 법률, 시장 변화에 맞춰 지속적으로 유지하고 수정함
데이터베이스 설계에서는 정규화 원칙을 따르되, 트랜잭션 처리 성능을 위해 필요한 수준의 비정규화를 적용함
- 데이터 관리자는 정규화와 비정규화 사이에서 시스템의 목표와 성능 요구를 조정함
데이터 모델을 기반으로 데이터베이스를 정의하는 DDL을 작성함
트랜잭션 처리 장비가 언제 용량 한계에 도달할지를 예측하는 용량 계획을 수행함
데이터베이스 활동과 데이터 증가량을 지속적으로 감시함
문제가 발견되면 해당 데이터 모델이나 데이터베이스에 직접 접근해 수정하는 직접 통제 방식을 사용함

비정형/텍스트 데이터의 확대

기업에는 정형 데이터뿐 아니라 광범위한 비정형/텍스트 데이터가 존재하며, 기업 데이터의 최대 90%가 텍스트라는 추정도 있음
중요한 기업 정보 상당수가 텍스트 형태로 존재하므로 데이터 관리 조직이 이를 함께 관리해야 함
정형 데이터와 텍스트 데이터는 구조와 관리 방법이 근본적으로 다름

텍스트 환경의 온톨로지와 분류체계

텍스트 환경에는 전통적인 정형 데이터 모델을 그대로 적용하기 어려움
정형 데이터에서 데이터 모델이 맡는 역할을 텍스트 환경에서는 온톨로지/분류체계(ontology/taxonomy) 가 수행함
두 모델은 대응되는 역할을 하지만 구조와 관리 기법은 크게 다름
정형 데이터 모델링과 관리 기술을 텍스트에 그대로 적용하는 것은 적합하지 않으며, 실질적인 성과도 거의 내지 못함

LLM 입력 텍스트의 선별과 정제

생성형 AI 환경에서 가장 중요한 데이터 관리 업무는 원문 텍스트가 LLM에 들어가기 전에 검토하는 것임
기업 업무와 관련 없는 불필요한 텍스트가 LLM에 유입되지 않도록 제거해야 함
불필요한 텍스트를 제거하면 쿼리를 실행할 때마다 처리해야 할 데이터가 줄어 비용을 절감할 수 있음
업무 관련 텍스트만 남기면 LLM이 무엇을 표현하고 다루는지 범위가 명확해짐

ELDM과 정형/비정형 데이터의 연결

생성형 AI 환경의 데이터 관리자는 온톨로지/분류체계를 기업 전체의 ELDM(Enterprise Logical Data Model) 과 결합해야 함
ELDM은 전통적인 정형 데이터 모델과 텍스트 환경의 온톨로지/분류체계를 통합하는 데 사용됨
기업의 업무 요구가 바뀌면 온톨로지/분류체계도 함께 갱신해야 함

외부 텍스트 수집과 지속적인 유지보수

인터넷과 같은 출처에서 넓은 범위의 원문 텍스트를 먼저 선택해야 함
이후 선택된 텍스트에서 기업 업무와 관련된 데이터를 다시 추리는 2단계 선별 과정이 이어짐
업무 환경과 세계 상황이 계속 변하므로 온톨로지/분류체계를 지속적으로 감시하고 관리해야 함
변화한 조건과 분류체계가 서로 일치하도록 반복적인 유지보수가 필요함

LLM에 대한 간접 통제

정형 데이터 관리자는 데이터 모델과 데이터베이스를 직접 변경할 수 있지만, 생성형 AI 환경에서는 LLM 자체를 같은 방식으로 직접 통제하지 못함
생성형 AI의 결과를 통제하는 수단은 LLM에 어떤 텍스트를 입력할지 관리하는 것임
따라서 생성형 AI 데이터 관리는 직접 수정이 아니라 입력 데이터의 선택과 정제를 통한 간접 통제에 가까움

기업 조직에서 데이터 관리 역할의 변화

초기에는 데이터 관리가 시스템 개발자가 수행하는 여러 작업 중 하나였으며 별도의 기업 조직이나 직무가 없었음
트랜잭션 처리가 중요해지면서 데이터베이스 설계가 독립적인 업무로 분리되고 데이터베이스 설계자 역할이 생김
데이터베이스가 급증하고 관리할 데이터 요소가 늘어나면서 데이터베이스 관리자 역할이 확대됨
여러 시스템의 데이터가 일치하지 않는 문제가 커지면서 기업 차원의 정보 통합을 담당하는 CIO(Chief Information Officer) 가 등장함
정형 데이터와 텍스트 데이터를 통합해 기업 데이터를 전체적으로 이해할 필요가 생기면서 CDO(Chief Data Officer) 역할로 발전함
데이터 형태가 다양해질수록 관리의 복잡성과 중요성, 활용 기회와 과제가 함께 증가함