불확실한 사례만 Opus에 맡긴 Jev, 비용은 4분의 1로

서로 다른 사람의 고객 기록을 잘못 합쳤는지 판별하는 작업에 저렴한 결정 모델 Jev를 먼저 사용하고, 판단 점수가 애매한 사례만 Opus에 넘기는 방식을 시험함. 평가는 합성 데이터로 진행 쉬운 테스트에서는 전체의 22%만 Opus로 재검토해 정확도 98.8% 를 기록. Opus 단독의 99.0%에 근접하면서, 1,000건당 비용은 3.86달러에서 0.88달러로 줄어듦 핵심은 틀릴 가능성이 있는 사례를 골라내는 능력이었음. Jev의 오답은 판단 점수 50% 부근에 몰렸지만, GPT-6 Luna는 틀린 사례에도 높은 확신을 보여 재검토 대상을 선별하기 어려웠음 어려운 테스트에서도 Jev 조합은 기준을 바꾸지 않고 더 많은 사례를 Opus에 넘겨 정확도를 유지함. 정확도는 95.3%로 Opus 단독의 95.1%와 비슷했고, 비용은 1,000건당 5.39달러에서 2.94달러로 감소함 단독 정확도가 높은 모델이 조합에서도 유리한 것은 아님. Luna는 쉬운 테스트에서 단독 성능이 더 좋았지만 어려운 사례에서는 과신이 약점이 됐으며, 쉬운 작업이나 비용 우선 환경에서는 Luna 조합이 더 경제적일 수 있음 고객 식별에서 과도한 병합이 어려운 이유 식별 정보 해소(identity resolution, IDR) 는 데이터 레코드 집합 D를 식별 정보 집합 I에 대응시키는 작업임 각 레코드는 하나의 식별 정보에 연결되고, 각 식별 정보는 실제 사람 한 명에만 대응해야 함 서로 다른 식별 정보가 같은 사람을 가리켜서도 안 됨 고객 연락, 개인화, 분석의 기반이 되는 작업으로, 고객 생애 가치를 계산하려면 해당 고객의 모든 구매를 하나의 식별 정보로 묶을 수 있어야 함 예를 들어 Alice의 멤버십 레코드와 거래 레코드는 이름, 주소, 배송지, 매장 수령 여부 등이 달라도 하나로 연결해야 함 실제 데이터에는 공유 이메일, 이사, 입력 오류가 섞여 있어 단순한 필드 일치만으로 사람을 구분하기 어려움 Valentino → Valentinp 같은 오타는 다른 성일 수도 있고, Sam → 5am은 문자 오독이나 사용자명일 수도 있음 Phillips → Filips 같은 발음식 표기는 다른 가족일 수도 있으며, 월일 순서가 뒤바뀐 생년월일은 파싱되지 않을 수 있음 부모 생년월일을 복사한 자녀 기록, Robert → Bob 같은 별명, Female Child 같은 임시 이름, 빈 필드도 판단을 어렵게 함 가장 흔하고 문제가 큰 오류는 과...