[김장현의 테크와 사람] 〈110〉AI와 책임

김장현 성균관대 교수 “다음 주 헝가리로 해외출장 갈 수 있게 준비해 줘.” 이 한마디를 들은 인공지능(AI)이 항공권을 검색하고, 가격과 환불 조건을 비교해 표를 만들고, 숙소를 예약한 뒤 회의 참석자들의 일정까지 조율하는 시대다. 질문에 답변하는 수준을 넘어, 실제 업무를 처리하는 'AI 에이전트'의 시대다. 반복 업무는 줄고, 사람은 더 중요한 판단에 집중할 수 있다는 기대도 크다. 그러나 편리함의 그림자도 뚜렷하다. AI가 환불 불가능한 항공권을 잘못 구매했다면, 또는 회의 참석자에게 전달해서는 안 될 내부 자료를 전송했다면 어떻게 해야 할까. 사고가 난 뒤에야 우리는 누가 책임져야 하는지, 누구에게 손해배상을 요구할 수 있는지 묻게 된다. “AI가 알아서 했다”는 설명은 가능할지 몰라도 면책의 근거가 될 수는 없다. 이 문제는 답변형 AI와 행동형 AI의 차이에서 출발한다. 생성형 AI가 부정확한 답을 했다면, 이용자는 적어도 내용을 읽고 의심하고 검토할 기회를 가질 수 있다. 하지만 AI 에이전트가 송금을 실행하고, 계약서를 발송하고, 채용 지원자의 정보를 분류하며, 생산 설비를 제어하는 단계로 나아가면 사정은 달라진다. 잘못된 결과는 화면 속 문장이 아니라 현실의 거래, 관계, 권리와 의무를 바꿔 놓는다. 되돌리기 어려운 행동일수록 사전 통제와 사후 책임의 기준은 더 엄격해야 한다. AI를 평가하는 질문도 바뀌어야 한다. 지금까지는 “얼마나 정확한가” “얼마나 자연스럽게 답하는가”가 중심이었다. 앞으로는 여기에 “어떤 권한을 부여하고 그 권한으로 무엇을 할 수 있는가” “어떤 조건에서 실행을 멈추는가” “문제가 생겼을 때 누가 바로잡을 수 있는가”가 더해져야 한다. 성능 확보만큼 권한 설계가 중요해지는 것이다. 흔히 최종 책임은 AI를 사용한 사람에게 있다고 말한다. 실제로 사용자가 지시했고, 조직이 AI를 도입했으며, AI가 접근할 수 있는 자료와 시스템의 범위를 정했기 때문이다. 그러나 기계적으로 모든 책임을 이용자에게 넘길 수는 없다. 자동차 사고를 생각해 보면 이해하기 쉽다. 운전자가 신호를 위반했다면 운전자의 책임이 크다. 그러나 제동장치에 구조적 결함이 있었거나, 제조사가 위험을 알면서도 필요한 조치를 하지 않았다면 제조사의 책임도 따져야 한다. AI 역시 마찬가지다. 사용자의 지시와 관리, 개발사의 설계와 안전조치, 도입 기업의 적절한 활용 여부를 구분해 살펴야 한다. 책임은 한곳에 몰...