호주 정부에 AI 사용한 44만 달러 보고서 환불하는 Deloitte

• Deloitte가 생성형 인공지능을 활용해 오류가 포함된 44만 달러 보고서를 제출한 후, 호주 정부에 일부 환불을 진행함
• 해당 보고서는 복지 시스템의 규정 준수 프레임워크 및 IT 시스템 검토 목적이었으며, 보고서 내 여러 오류와 가짜 인용문 및 허위 자료 인용 문제가 발견됨
• Deloitte는 Azure OpenAI GPT–4o와 같은 대형 언어 모델을 사용했음을 보고서 부록에 명시했지만, 오류의 직접적 원인이 AI임을 인정하지 않음
• 노동당 상원의원은 컨설팅 회사의 전문성이 부족하다며 AI가 주요 역할을 했다는 점을 비판함
• 최종 보고서 수정에도 핵심 내용과 결론엔 변화가 없으며, 권고사항도 유지됨

Deloitte, 호주 정부에 AI 사용 관련 환불

사건 개요

• Deloitte가 44만 달러 상당의 정부 보고서 작성에 생성형 인공지능을 활용한 사실을 인정한 후, 오류가 발견돼 계약금 일부를 환불하기로 결정함
• 해당 보고서는 호주 고용 및 직장관계부(DEWR)의 의뢰로 복지 수급자 준수 자동화 시스템에 대한 검토를 위해 작성된 것임
• 보고서에는 프레임워크 규칙과 실제 법률의 연결성 부족 및 IT 시스템의 근본적 결함 등 여러 문제가 지적됨

AI 활용과 문제점

• 보고서는 7월 4일 최초 공개 후 여러 오류 및 존재하지 않는 인용문 문제가 언론을 통해 지적됨
• University of Sydney의 Dr. Christopher Rudge에 따르면, 보고서에는 AI가 흔히 보이는 "hallucination"(환각) 현상, 즉 존재하지 않는 자료를 만들어내는 문제가 여러 곳에 나타남
  • 예를 들어, 새로운 보고서 버전에서도 허위 인용문이 오히려 더 늘어나는 등, 일부 결론이 실제 근거 자료보다는 AI에 의해 생성됨을 암시함
• Deloitte는 업데이트된 보고서 부록에 Azure OpenAI GPT–4o와 같은 대형 언어 모델 사용 사실을 추가함
  • DEWR의 Azure 환경에서 라이선스 기반으로 구동된 툴 체인을 이용했다고 명시
  • 그러나, 최초 보고서의 문제 원인이 직접적으로 AI에 있다고 인정하지는 않음

반응 및 후속 조치

• 노동당 Deborah O’Neill 상원의원은 "Deloitte는 인간의 전문성 부족을 겪고 있다고 할 수 있으며, 부분 환불은 부실 작업에 대한 불충분한 사과임"이라고 비판함
  • 정부 및 발주처에선 실제 전문가와 AI 무관성 증명이 필요하다고 주장
  • "컨설팅사 대신 ChatGPT 구독을 하는 게 낫겠다"고 비판적인 의견 표출
• 언론 조사에 따르면, 존재하지 않는 대학 연구 보고서 인용, 실제와 다른 법원 판결 요약 제공 등 구체적인 허위 내용이 보고서에 포함됨
  • 예시: University of Sydney, Lund University 교수 논문, Robodebt 사건(Deanna Amato v Commonwealth) 판결 등 관련 자료 허위 요약

공식 입장 및 영향

• Deloitte 측은 DEWR와 직접적으로 문제를 해결하였다며, 업데이트된 보고서의 결론 및 권고사항에는 변경이 없음을 강조
• DEWR도 일부 미비한 각주 및 인용문을 수정했을 뿐, 전체 추천사항과 핵심 내용 유지 입장 표명
• 일부 전문가들은 전체 보고서의 결론이 현존 증거와 일치하긴 하지만, 보고서의 신뢰성에 의문이 제기됨

시사점

• 본 사안은 컨설팅 업계의 생성형 인공지능 사용에 대한 투명성과 전문성 보장 요구를 사회적으로 부각시키는 계기임
• 발주자는 AI 활용 여부, 전문성 실명 검증 과정을 강화할 필요성을 인식하게 됨