비자 AI 쇼핑 에이전트 22종 시험했더니…TV·노트북 구매 43% 실패

제미나이·메타 82%, 클로드 76%, 오픈AI 64%조건 되묻지 못해 엉뚱한 제품 사는 실패 잦아사고 때 책임 소재는 아직 미정 등록 2026-11-06 오전 8:55:59 수정 2026-11-06 오전 8:55:59 가 가 [이데일리 신수정 기자] TV를 사 오라고 시켰더니 열 번 중 네다섯 번은 엉뚱한 물건을 사 왔다. 글로벌 결제망 1위 업체 비자(Visa)가 인공지능(AI) 쇼핑 에이전트 22종에 TV·노트북·헤어기기 중 하나를 사 오게 하는 첫 실험을 한 결과, 전체 성공률은 약 57%에 그쳤다. 중국 동부 안후이성 푸양에 위치한 중국우정(China Post) 우편 처리 센터에서 직원들이 ‘더블일레븐’ 쇼핑 축제를 앞두고 소포를 분류하고 있다. (사진=AFP)5일(현지시간) 미 경제지 포천에 따르면 AI가 대신 장을 봐 주는 시대가 곧 온다는 기대와 달리, 실제 성적표는 아직 낙제점에 가깝다는 평가가 나온다. 비자는 에이전트마다 장보기를 15번씩 반복하게 했다. 시험 쇼핑객에게는 ‘아이 게임기와 호환’, ‘30일 이내 반품 가능’, ‘TV는 돌비비전 지원’ 같은 구체적인 조건을 줬다. 에이전트가 이 조건에 맞는 제품을 사면 성공, 엉뚱한 제품을 사거나 조건에 맞는 제품을 찾지 못하면 실패로 처리했다. 실패율이 약 43%라는 뜻이다. 소비자의 일상적인 구매 요청을 그대로 옮긴 시험이라는 점에서 눈길을 끈다. 기업별 점수는 갈렸다. 구글 제미나이 기반 에이전트와 메타 에이전트가 각각 82%로 공동 1위였다. 앤스로픽 클로드 에이전트는 76%로 3위, 오픈AI 에이전트는 64%로 6위였다. 같은 AI 기업이라도 쇼핑 과제에서는 순위가 크게 엇갈린 셈이다. 모델 가격도 성적과 연결됐다. 비싼 모델 상위 5종의 평균 성공률은 67%, 싼 모델 5종은 50%였다. 성능이 좋은 모델일수록 구매 과제를 더 잘 해냈지만, 비싼 모델도 세 번 중 한 번은 실패한 셈이다. 가격이 낮은 모델은 두 번에 한 번꼴로 실패해, 비용을 아끼려다 오히려 소비자가 손해를 볼 수 있다는 해석이 가능하다. 실패 원인은 대체로 비슷했다. 에이전트가 조건에 맞는 제품을 찾지 못하거나, 비슷해 보이는 다른 제품을 골랐다. 시험 설계상 에이전트가 필요한 조건을 사용자에게 되묻지 못하면 틀린 것으로 판정했다. 사람 점원이라면 “게임기는 어떤 기종이세요?”라고 확인했을 상황에서 AI는 묻지 않고 결제까지 가는 습관을 보였다는 얘기다. 되묻기가 정...