좀비 통계: AI가 인용하는 숫자는 어디에서 오는가

4 days ago 48

5개 AI 서비스가 인용한 통계 1,285건의 출처를 추적한 결과, 원연구와 내용이 일치한 비율은 40% 였음 인용 페이지에 해당 숫자가 있는 경우는 82%였지만, 원연구를 직접 인용한 비율은 21% 에 그침. 인용은 AI가 숫자를 발견한 곳을 알려줄 뿐, 숫자의 기원까지 보장하지 않음 원연구에 도달한 통계 중 17%는 전달 과정에서 내용이 달라졌음. 숫자 자체보다 조사 대상, 시점, 측정 항목 같은 맥락이 바뀐 경우가 많았음 여러 AI의 답변 일치는 검증 수단이 아니었음. 5개 서비스가 모두 인용한 통계 중 4개는 추적한 모든 경로가 연구를 인용하지 않는 페이지에서 끝남 AI가 제시한 통계는 출처가 아닌 조사 단서로 취급하고, 원연구까지 따라가 표본과 조사 시점을 확인해야 함. 통계를 발행할 때도 숫자와 방법론을 공개된 같은 페이지에 두는 것이 권장됨 연구 없는 숫자가 반복되는 경로 ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews에 숫자가 필요한 일상적인 질문 200개를 던진 뒤 인용 출처를 추적함 “영업사원 중 한 차례 후속 연락 뒤 포기하는 비율은?”이라는 질문에 5개 서비스 모두 44% 라고 답했고, ChatGPT만 근거가 불명확하다는 단서를 붙임 Google AI Overviews는 2020년 영업 회사의 통계 페이지를 인용함 해당 페이지의 출처 링크는 늦어도 2017년부터 온라인에 있던 프리랜서 작가의 글쓰기 견본으로 이어짐 견본은 제목에 44%를 내걸고 발표 자료 2개, 블로그 목록 1개, 뉴스 기사 2개를 나열했지만, 어느 것도 후속 연락을 조사한 연구가 아니었음 다른 경로도 모두 연구를 인용하지 않는 페이지에서 끝남 좀비 통계는 이처럼 뒷받침하는 연구 없이 계속 반복되는 숫자를 뜻함. 대부분의 숫자가 이런 것은 아니지만, 답변의 확신에 찬 어조나 인용 형식만으로는 구분할 수 없었음 추적 방법과 원연구 확인율 2026년 10월 수집한 답변에서 서비스별 인용 통계를 무작위 추출해 1,285건을 추적함 최초 인용 페이지부터 출처를 최대 5페이지 깊이까지 따라갔고, 링크 없이 출처 이름만 있으면 별도로 검색함 서비스별 통계 인용량에 따라 가중치를 적용하고, 사람이 직접 확인한 150개 경로로 결과를 보정함 추적 결과는 다음과 같음 40%는 원연구와 일치했으며, 이 비율의 95% 구간은 34~46%였음 8%는 원연구에 도달했지만 내용이 달라짐. 숫자,...

Read Entire Article




피플앤툴즈 네트워크
🛍 샵