과학자끼리도 “AI 썼나” 서로 의심… 허위 논문 철회도 급증

2 hours ago 1

AI학회마저 ‘AI 무단사용’… 논문 497편 탈락
저자들끼리 제출논문 서로 평가
규칙 어기고 AI 활용 무더기 적발

이달 11일까지 서울 강남구 코엑스에서 열리고 있는 세계 3대 인공지능(AI) 학회 중 하나인 ‘국제머신러닝학회(ICML) 2026’에서는 논문 약 500편이 무더기 탈락하는 일이 발생했다.

문제의 발단은 다름 아닌 AI 활용. ICML은 논문을 제출한 저자들끼리 서로의 논문을 평가하는 ‘피어리뷰’를 받도록 하고 있다. 평가에 AI 활용은 금지돼 있다. 그런데 규칙을 어기고 AI를 무단으로 사용한 학자들이 대거 발견된 것이다. 학회는 이 학자들의 논문 497편을 심사 및 발표에서 모두 제외했다.

8일 과학계에 따르면 최근 논문 주제 선정과 작성, 평가 등 전 과정에 AI가 일상적으로 활용되면서 AI의 신뢰성 문제가 더욱 불거지고 있다. 거짓 답변을 내뱉는 ‘AI 할루시네이션(환각)’ 현상이 존재하는 가운데 AI가 일상화되면서, 과학자들조차 서로의 논문이나 평가를 100% 믿지 못하는 현상이 확산되는 것이다. 생성형 AI 등장 이후 약 3년 만에 논문에서 ‘가짜 참조’를 사용한 사례가 10배로 늘었다는 연구 결과도 있다. 올 5월 공개된 미국 컬럼비아대 연구 결과에 따르면 올해 첫 7주간 의학 데이터베이스 ‘펍메드’에 올라온 논문 277편 중 1편은 세상에 없는 가짜 논문을 참조했다. 2023년 2828편 중 1편 정도에서 3년 새 10배 이상으로 늘었다.

본보가 한국과학기술한림원과 함께 진행한 설문조사에서 국내 과학자 756명 중 약 60%는 신뢰성 문제로 AI 도입을 망설인다고 답했다. 김명주 AI안전연구소 소장은 “AI로 인한 논문 속 거짓 정보를 걸러낼 노력과 논의가 필요한 시점”이라고 말했다.

[AI 사용 논문 무더기 탈락]
실적 위한 ‘공장형’ 가짜 논문 폭증… AI發 허위 답변 그대로 반영하기도
생성형AI 이후 매년 1만건 철회
과학자 60% “AI 신뢰성 걸림돌”… 정보 발굴보다 검증 중요성 커져

올해 4월 국제 의학 학술지 ‘뉴잉글랜드저널오브메디신(NEJM)’에 실렸던 중국 연구진의 논문 속 사진. 산불 연기를 흡입한 사람의 기관지에서 발견된 검은색 침전물을 찍은 것으로, 줄자의 눈금 숫자가 달라 해당 사진이 조작된 것임을 확인할 수 있다. NEJM은 해당 논문을 10일 만에 철회시켰다. NEJM 제공

“산불을 겪은 사람의 기도(氣道)에서 검은색 침전물이 발견됐다.”

올 4월 세계에서 가장 오래된 의학 저널이자 4대 의학 저널 중 하나로 불리는 ‘뉴잉글랜드저널오브메디신(NEJM)’에 이 같은 내용의 중국 연구진 논문이 게재됐다. 이 논문에 실린 ‘기도 내 검은색 침전물’은 선명한 사진으로 많은 과학자들의 눈길을 사로잡았다.

하지만 얼마 안 가 이 사진이 인공지능(AI)으로 조작한 사진이란 점이 밝혀졌다. 다른 과학자들이 사진에 등장한 비교용 자의 눈금 숫자가 이상하다며 AI 조작 가능성을 제기했다. 이에 NEJM은 논문 게재 10일 만에 해당 논문을 철회했지만, 사실에 근거해 연구하는 과학자들마저 서로의 논문을 보고 ‘AI가 쓴 것 아니냐’고 의심해야 하는 상황에 학계의 충격은 컸다. 윤효재 고려대 화학과 교수는 “과거에는 정보를 얻는 데에 많은 인력과 자원이 투입됐지만 이젠 AI가 그 과정을 상당 부분 해결하고 있다”며 “문제는 AI가 생성한 정보와 연구결과를 검증하는 데 더 많은 시간과 노력이 들어가고 있다는 점”이라고 말했다. 생성형 AI가 일상화되며 ‘검증의 시대’가 왔다는 의미다.

● “2030년대엔 과학 논문 10%가 ‘허위’”

실제로 과학계에서는 NEJM의 사례처럼 AI를 부정하게 사용했거나, AI 활용을 밝히지 않아 철회되는 논문이 급격히 늘고 있다. 철회 논문 추적 사이트 ‘리트랙션 워치’에 따르면 생성형 AI가 등장한 이후 2023년부터 매년 약 1만 건의 논문이 철회되고 있다.

최근 기하급수적으로 늘어난 허위 논문에는 크게 두 가지 종류가 있다. 하나는 논문 실적을 위해 ‘논문 공장’이라고 불리는 업체들을 이용해 AI로 가짜 논문을 찍어내듯 생산한 경우다. 지난해 미국국립과학원회보(PNAS)에 발표된 미국 노스웨스턴대 연구진 조사에 따르면 논문 공장에 의해 출판되는 허위 논문 산출 속도는 1년 6개월마다 두 배로 폭증하고 있다. 반면 학계에서 허위 논문을 찾아내 철회하는 속도는 3년 6개월마다 두 배로 늘어나는 데 그친다.

허위 논문의 생성 속도에 비해 검증·철회 속도가 현저히 느리다는 의미다. 연구진의 계산 결과에 따르면 AI 조작이 의심되는 논문의 약 75%는 지금도 버젓이 학술지에 실려 유통되고 있다. 연구진은 이런 추세라면 2030년대에는 전체 과학 논문의 10% 이상이 논문 공장에서 산출한 가짜 논문이 될 것이라는 전망도 내놨다.

여기에 의도적이진 않았지만 연구 과정에서 활용한 AI가 내뱉은 허위 정보를 걸러내지 못하고 논문에 반영한 경우도 있다. 저자 의도와 관계없이 신뢰성이 떨어지는 논문들이 조금씩 연구 생태계를 좀먹는 것이다.

● “GPU 부족보다 AI발 논문 불신이 더 문제”

본보가 한국과학기술한림원과 올해 4월 23일부터 5월 6일까지 2주간 국내 과학기술인 756명을 대상으로 ‘AI에 의한 연구 패러다임 전환’에 대한 인식 조사를 진행한 결과, 과학자의 약 60%가 AI의 신뢰성을 문제로 보고 있었다. ‘연구에 AI를 적용할 때 가장 큰 걸림돌은 무엇인가’(복수 응답 가능)라는 질문에 58.3%가 ‘신뢰성 및 재현성 문제’를 꼽았으며, ‘연구 윤리 및 책임 문제’(51.8%)가 뒤를 이었다. 지난해만 하더라도 연구에서 가장 큰 병목으로 지목됐던 ‘데이터 및 컴퓨팅 인프라 및 비용 부족’은 38.3%에 그쳤다. 이제는 AI 인프라를 만드는 것보다 AI의 답변 자체를 ‘믿을 수 있느냐’가 더 중요한 걸림돌이 된 것이다.

이어 ‘AI 활용에 있어 가장 중요한 윤리 이슈는 무엇인가’(복수 응답 가능)라는 질문에 대해서는 ‘책임 주체 불명확 및 부정행위 증가 가능성’(54.5%), ‘연구자의 AI 의존성 확대 및 사고력 하락’(53.9%), ‘연구 결과 신뢰성 문제’(45.1%)라는 답변이 높은 순위를 차지했다.

학계에도 AI에 대한 불신이 커지며 국제학술지에서는 AI가 생성했거나 조작된 논문을 걸러내기 위한 기술적 조치를 취하고 있다. 스프링거 네이처는 탐지 AI ‘제페토’와 ‘스냅샷’을 도입하고 나섰다. 마르크 슈펜레 스프링거 네이처 최고운영책임자(COO)는 지난해 본보와의 인터뷰에서 “허위 논문은 전 학술계가 맞닥뜨린 도전 과제”라고 언급한 바 있다.

학계에서는 AI가 일상화됨에 따라 연구 평가 방식 자체가 바뀌어야 한다고 보고 있다. 단순히 저널에 논문을 많이 싣는 것이 중요한 것이 아니라 연구자 스스로 연구의 맥락과 가치를 서술할 수 있어야 한다는 것이다. 김우재 중국 하얼빈 공대 생명과학센터 교수는 “현실적으로 모든 걸 다 검증할 수 없다면 과학 연구의 핵심을 평가하는 것이 맞다”며 “실제 유럽을 중심으로 결성된 연구평가혁신연합(CoARA)은 ‘내러티브 CV’라는 평가 방식을 도입해 이를 현실화하고 있다”고 말했다. 내러티브 CV는 연구자가 자신의 연구가 지식의 지평을 어떻게 확장시켰는지를 서술형으로 풀어내고, 이를 평가하는 방식이다.

최지원 기자 jwchoi@donga.com
한채연 기자 chaezip@donga.com