11 hours ago
1
데이터에는 타고난 품질이 없으며, 특정 사용 사례에서 데이터가 만들어내는 가치가 커질수록 품질이 높다고 평가할 수 있음
데이터 품질은 개별 데이터/전체 말뭉치/목적 적합성/사업 성과의 네 단계로 구성되며, 하위 단계는 상위 단계를 가능하게 하고 상위 단계는 하위 단계에 투자할 이유를 제공함
정확한 매출 데이터도 회계에는 적합하지만 실시간 경영이나 미래 매출 예측에는 부적합할 수 있어, 동일한 데이터의 품질 평가가 사용자와 목적에 따라 달라짐
속성 점검에만 집중하면 완벽한 데이터를 만들고도 사업 가치를 내지 못하고, 반대로 성과만 좇으며 기초 품질을 무시하면 지속 가능하지 않은 시스템이 만들어질 수 있음
데이터 품질 관리는 데이터를 정제하는 작업에 그치지 않고, 데이터 사용→의사결정 변화→사업 결과의 경로를 측정하고 결과에 따라 투자를 조정하는 과정까지 포함해야 함
표준 정의가 충분하지 않은 이유
ISO 8000은 품질 좋은 데이터를 명시된 요구사항을 충족하는 데이터로 정의하지만, 정확한 만큼이나 실제 판단에는 도움이 되지 않는 순환적 정의임
ISO 25012는 정확성/완전성/일관성 등을 포함한 15개 속성으로 데이터 품질을 정의함
개별 데이터의 상태를 점검하는 데는 유용하지만, 해당 데이터가 실제 용도와 사업 결과에 기여하는지는 다루지 못함
같은 데이터를 여러 실무자가 서로 다르게 평가하는 이유는 품질의 서로 다른 단계와 사용 목적을 기준으로 판단하기 때문임
데이터 품질은 데이터 가치에서 발생함
데이터에는 내재적 가치가 없으며, 그 데이터로 무엇을 할 수 있는지가 가치를 결정함
데이터 자산의 가격을 정하는 방법
에서 사용한 논리를 품질에도 적용할 수 있음
데이터 품질은 데이터의 가치를 높이는 특성임
데이터 가치는 사용 방식의 함수이므로, 데이터 품질도 사용 방식에 따라 결정됨
품질을 높이는 목적은 데이터로 더 많은 일을 하거나, 같은 일을 더 잘하고 빠르고 저렴하게 하거나, 이전과 다른 일을 가능하게 만드는 데 있음
1단계: 개별 데이터 품질
세부 단위 품질(granular quality)은 데이터베이스 레코드/문장/질문-답변 쌍/라벨링된 예제처럼 개별 데이터 단위를 평가함
주요 평가 속성에는 정확성/정밀성/최신성/형식 적합성/내부 일관성/개연성/출처/해석 가능성/신뢰도가 포함됨
각 속성은 다른 레코드를 살펴보지 않고도 개별 단위만으로 평가할 수 있음
다만 모든 평가는 사용 맥락을 전제로 함
무엇을 기준으로 참인지
어느 시점을 기준으로 최신인지
어떤 방식으로 사용 가능한지
어떤 문맥에서 일관적인지 정해야 함
매출 데이터의 개별 품질
계약 조건/갱신/할인/일회성 매출과 반복 매출을 잘못 해석하면 개별 매출 항목부터 틀릴 수 있음
정확하게 기록했더라도 마켓플레이스 매출을 총액(gross)과 순액(net) 중 어느 방식으로 인식할지는 사업 구조에 따라 달라짐
직접 가치를 제공하고 가격을 정하며 서비스 책임까지 부담하는지
구매자와 판매자를 연결하는 중개자에 가까운지에 따라 판단이 달라짐
감사인도 서로 다른 결론을 내릴 수 있어, 정확성 자체도 사용 목적과 회계적 맥락에서 분리할 수 없음
2단계: 전체 데이터 집합의 품질
모든 개별 레코드가 정확하더라도 전체 말뭉치 품질(aggregate quality)이 높다는 보장은 없음
전체 수준에서는 다음 속성을 평가해야 함
범위와 누락 여부
중복 제거
데이터 세분성
대표성과 균형
레코드 및 라벨 사이의 일관성
분포와 집계 통계
데이터 양과 충분성
시간적 연속성
다른 데이터와의 결합 가능성
시간과 공간에 따른 드리프트
이러한 속성은 개별 데이터에서는 보이지 않으며 전체 데이터의 관계와 분포에서 나타남
데이터가 모두 존재하는지/충분히 정제됐는지/현실을 반영하는지/시간과 공간에 따라 안정적인지를 확인해야 함
매출 데이터의 전체 품질
개별 매출 사건이 정확하게 기록됐어도 다음 문제가 남을 수 있음
과거 데이터 중간에 매출 정의가 바뀜
일부 매출이 누락됨
같은 매출이 중복 계산됨
서로 다른 집계 결과가 일치하지 않음
현재 고객을 완벽하게 반영한 데이터는 회계와 보고에는 고품질일 수 있지만, 미래 고객 구성과 다르다면 확장 매출 예측에는 저품질일 수 있음
데이터 집합의 대표성은 데이터 자체가 아니라 적용하려는 대상을 기준으로 평가해야 함
3단계: 목적 적합성
목적 적합성(fitness for purpose)은 데이터 속성보다 데이터와 실제 응용 프로그램 사이의 상호작용을 평가함
재무제표는 광고 캠페인에 적합하지 않고, 고객 프로필은 주식 분석에 적합하지 않지만 용도를 바꾸면 각각 필수 데이터가 될 수 있음
정보적 적합성
데이터가 해결하려는 질문에 답할 수 있는지를 평가함
관련성/적절성/충분성/필요성이 포함됨
데이터가 정확하다는 사실과 필요한 정보를 제공한다는 사실은 서로 다른 문제임
운영적 적합성
실제 환경에서 데이터를 효과적으로 사용할 수 있는지를 평가함
가용성/라이선스와 규제 준수/상호운용성/위험 대비 보상이 포함됨
정보가 충분하더라도 필요한 시점에 접근할 수 없거나 법적으로 사용할 수 없다면 목적에 적합하지 않음
매출 데이터의 목적별 차이
월말 매출을 완벽하게 확정하려면 우수한 재무팀도 며칠이 필요하지만, CEO는 매출이 예상에서 벗어나는 달 안에 투자/비용 절감/채용/해고를 결정해야 할 수 있음
감사인에게 고품질인 확정 매출은 실시간 운영에는 너무 늦은 데이터일 수 있음
상세한 재무 자료도 사용자별 요구와 맞지 않을 수 있음
이사회는 핵심 요약을 원함
CMO는 마케팅 기여도를 원함
영업팀은 성과급 규모를 원함
재무팀에 품질을 높여주는 세부 정보/미묘한 차이/주의사항/다양한 분석 축이 다른 사용자에게는 오히려 사용성을 낮출 수 있음
4단계: 사업 성과 품질
개별 품질/전체 품질/목적 적합성이 모두 뛰어나도 데이터가 실제 사업 가치를 만든다는 보장은 없음
사업 성과 품질(business-outcome quality)은 데이터가 기업의 결과를 얼마나 개선했는지를 평가함
평가 점수 향상
기업 매출의 유지율 향상
위험 조정 수익률 개선
고객 전환율 상승 등이 대상이 될 수 있음
다음 세 질문으로 나눌 수 있음
데이터가 실제로 사용됐는가
사용 후 무엇이 달라졌는가
그 변화가 투자할 가치가 있었는가
사용과 결과의 측정
데이터 사용 여부는 도입률/의사결정에 끼친 영향/행동의 변화량으로 측정함
결과 변화는 이전과 이후의 차이/정확한 기여도/변화의 중요성을 통해 평가함
변화의 가치는 투자수익률/결과가 나타난 시점/지속성/위험까지 고려해야 함
고품질 매출 데이터가 실패하는 경우
정확하고 편향이 없으며 사용자 요구에 맞는 매출 데이터를 기반으로 영업 성과급 체계를 바꿔도 기대한 사업 결과가 나오지 않을 수 있음
영업팀이 새로운 공식을 공략하면 다음 행동이 발생할 수 있음
가속 보상을 받기 위해 미래 매출을 앞당김
마진을 훼손하는 할인을 제공함
장기 가치가 높은 어려운 계약보다 쉽게 체결되는 저품질 계약을 추구함
데이터 자체는 모든 하위 단계에서 고품질이어도, 이를 사용한 제도와 행동 변화가 사업 가치를 파괴할 수 있음
최상위 단계에서는 데이터 자체를 더 정제하기보다 다음 과정이 필요함
데이터가 만들 가치를 더 나은 가설로 정의함
데이터 사용에서 행동과 결과로 이어지는 경로를 계측함
실제 결과에 따라 투자를 축소하거나 확대함
품질 사다리
네 단계는 서로 분리된 체크리스트가 아니라 순서가 있고 의존하는 사다리임
목적 적합성과 사업 성과에 도달하려면 개별 데이터와 전체 데이터의 품질이 먼저 갖춰져야 함
반대로 하위 단계의 품질은 그 자체로 가치를 만들지 않으며 상위 단계의 결과가 있어야 투자 이유가 생김
하위 단에서는 속성 점검에 몰두한 나머지 사업 사용 사례를 잊고 있지 않은지 확인해야 함
상위 단에서는 결과에 몰두한 나머지 기본적인 데이터 위생을 무시하고 있지 않은지 확인해야 함
기존 표준의 실패 방식
ISO 25012식 접근은 수많은 품질 속성을 측정하고도 사업이 개선되지 않는 체크리스트 함정에 빠질 수 있음
ISO 8000식 접근은 좋은 결과를 내는 데이터가 좋은 데이터라는 정의에 머물러, 구체적으로 무엇을 개선해야 하는지 알려주지 못함
품질 사다리는 하위 단계의 실행 가능한 점검과 상위 단계의 가치 판단을 하나의 구조로 연결함
서로 다른 단계에서 생기는 충돌
데이터 품질에 관한 논쟁은 서로 다른 사다리 단계에서 이야기할 때 자주 발생함
데이터 운영 엔지니어는 정확한 라벨과 레코드 상태를 우선하지만, 해당 데이터가 사업에서 사용되지 않을 수 있음
CEO는 이상적인 운영 모델과 사업 결과를 중시하지만, 그 모델이 신뢰하기 어려운 입력 데이터 위에 세워질 수 있음
문제를 만났을 때 한쪽은 세부 데이터 수정을 찾고 다른 쪽은 새로운 전략을 찾지만, 어느 하나도 모든 문제를 해결하지 못함
단계를 건너뛰는 세 가지 방식
출시 실패
하위 단계에 지나치게 집중해 개별 품질/전체 품질/목적 적합성을 완벽하게 만들고도 사업 가치를 전혀 내지 못하는 경우임
하위 단계는 구체적이고 측정 가능하며 직접 개선하기 쉬워 조직이 가장 집중하기 쉬움
측정 가능한 항목이 많다는 이유로 실제 성과보다 데이터 정비 작업이 목표가 될 수 있음
기반 실패
하위 단계를 무시하고 사업 가치부터 직접 최적화하는 경우임
목표가 명확하고 피드백 주기가 충분히 빠르다면 일시적으로 작동할 수 있음
정확성/출처/최신성에 문제가 있어도 결과만 좋으면 된다는 접근은 일반적으로 지속 가능하지 않으며, 결국 기초 데이터의 문제가 드러남
출처를 품질의 증거로 사용하기
신뢰할 수 있는 외부 출처가 개별 데이터와 전체 데이터 품질을 대신 보증하도록 해 내부 검증 투자를 줄일 수 있음
특정 산업에 특화된 공급자를 선택하면 목적 적합성 검증 부담도 줄일 수 있음
다만 사업 가치는 데이터를 구매한 조직이 직접 만들어야 함
데이터 출처에 대한 신뢰는 자동으로 생기지 않음
시간/자원/반복된 결과를 통해 형성됨
데이터가 계속 작동하는 동안 유지됨
기대한 결과를 내지 못하면 빠르게 약화됨
다음 단계
데이터 품질은 데이터 자체에 존재하는 절대적 속성이 아니라 사용 목적과 가치 창출 과정에서 나타남
효과적인 품질 관리는 네 단계를 모두 확인하면서 어느 한 단계에만 머물지 않는 것을 요구함
후속 편에서는 AI가 기존 데이터 품질에 대한 직관을 어떻게 바꾸는지 다룰 예정임
English (US) · 