무장 경찰, AI가 도리토스 봉지를 무기로 오인해 학생을 포위

1 week ago 6

미국 고등학교에서 AI 무기 탐지 시스템의 오작동으로 학생이 무장 경찰에 포위되는 사건이 발생
해당 시스템은 감시 카메라 영상을 분석해 총기 형태를 인식하는 기술로, 실제로는 도리토스 과자봉지를 총기로 잘못 판단함
학생은 총구를 겨눈 채 수갑이 채워졌으며, 이후 경찰이 보여준 AI 캡처 이미지에서 오탐이 확인됨
시스템을 개발한 Omnilert사는 ‘오탐이지만 시스템은 의도대로 작동했다’ 고 주장하며, 학교 측도 이를 지지하는 입장을 발표
이번 사건은 학교 내 AI 감시 기술의 신뢰성과 윤리적 한계에 대한 논쟁을 촉발하며, AI 의존 사회의 위험성을 드러냄

사건 개요

미국 메릴랜드주 볼티모어의 Kenwood High School에서 16세 학생 Taki Allen이 AI 감시 시스템의 오탐으로 인해 무장 경찰의 제압을 받는 사건 발생
- 사건은 10월 20일, Allen이 축구 연습 후 친구들과 함께 있을 때 발생
- 여러 대의 경찰차가 학교 앞에 도착해 학생들에게 총을 겨누며 “땅에 엎드려라”라고 명령
Allen은 무릎을 꿇고 수갑이 채워진 상태에서 수색을 받았으며, 경찰은 아무런 무기도 발견하지 못함
- 경찰이 보여준 AI 캡처 이미지에는 그의 주머니 속 구겨진 Doritos 봉지가 총기로 인식되어 있었음
Allen은 당시 “죽을 수도 있겠다는 생각이 들었다”고 말하며, 사건 이후 학교에 돌아가기를 두려워한다고 밝힘

AI 시스템의 작동 방식과 문제점

문제의 시스템은 Omnilert사의 Gun Detection Technology로, 볼티모어 카운티 공립학교에 지난해 도입된 AI 감시 솔루션
- 기존 CCTV 영상을 실시간으로 분석해 총기 형태로 추정되는 물체를 탐지하면 즉시 경찰에 경보를 전송
Omnilert는 이번 사건을 “false positive(오탐) ”로 인정했지만, 시스템이 “의도된 대로 작동했다”고 주장
- 회사는 “신속한 인간 검증을 통한 안전 확보”가 목적이라며, 기술의 근본적 문제는 아니라는 입장
그러나 회사의 홍보 자료에는 “즉각적인 총기 탐지”와 “** 거의 0에 가까운 오탐률**”을 강조하고 있어, 이번 사건이 그 신뢰성을 흔드는 계기가 됨

학교와 지역사회의 대응

Baltimore County Public Schools는 학부모에게 보낸 서한에서 Omnilert의 입장을 반복하며, “학생들의 안전과 인식 제고를 위한 조치였다”고 설명
- 학교는 사건을 목격한 학생들을 위해 상담 서비스를 제공하겠다고 발표
그러나 Allen은 “학교로부터 직접적인 사과나 연락을 받지 못했다”고 말함
- 그는 “단지 절차(protocol)였다고만 들었을 뿐”이라며, 학교의 대응에 실망감을 표함
사건 이후 Allen은 “다시 과자를 먹거나 음료를 마시면 또 경찰이 올까 두렵다”고 말하며, 학교 복귀를 꺼리고 있음

AI 감시 기술에 대한 논쟁 확산

이번 사건은 AI 감시 시스템의 신뢰성과 윤리적 한계에 대한 논쟁을 촉발
- 특히 학교와 같은 민감한 공간에서 AI의 오탐이 학생 안전을 위협할 수 있음이 드러남
전문가들은 AI의 판단 오류가 실제 무력 대응으로 이어질 경우, 인명 피해로 확산될 위험이 있다고 경고
사건은 AI 기술의 사회적 책임과 인간 검증 절차의 중요성을 재조명하는 계기가 됨

AI 기술 확산과 관련된 국제 동향

같은 시기, 미국 육군의 William ‘Hank’ Taylor 소장이 ChatGPT를 활용해 군사적 의사결정을 내린다고 공개해 논란이 일었음
- 이는 공공기관과 군 조직에서도 AI 의존이 빠르게 확산되고 있음을 보여줌
영국에서는 성인 콘텐츠 접근을 위한 얼굴 인식 기반 연령 인증 제도가 도입되어 또 다른 AI 논란이 발생
- 문신이 많은 한 남성이 시스템으로부터 “얼굴을 제거하라(remove your face) ”는 메시지를 받았다고 주장, AI 인식 오류의 부작용을 드러냄
이러한 사례들은 AI가 인간의 일상과 공공안전 영역에 깊숙이 침투하면서 발생하는 예측 불가능한 결과를 보여주는 대표적 사례로 평가됨

Read Entire Article