대학 도서관에 몰려드는 AI 봇, 공공 접근권을 위협하다

AI 학습용 데이터를 수집하는 스크래핑 봇이 대학 도서관 사이트를 느려지거나 중단되게 하면서 학생, 연구자, 일반 시민의 자료 접근을 방해하고 있음 일부 봇은 robots.txt 지침을 무시하고 초당 수천 건의 문서를 요청하며, 수천 개 IP 주소를 사용해 기존 IP 차단 방식으로 대응하기 어려움 University of North Carolina at Chapel Hill에서는 하루에 핀란드 음악 검색 1만 1,000건 이상이 발생했고, 봇 트래픽 때문에 학생과 교직원이 도서관 목록에 주기적으로 접근하지 못함 CAPTCHA와 로그인 요구는 봇을 막는 수단이지만 유용한 봇과 사람의 접근까지 제한할 수 있어, 도서관의 개방 원칙과 충돌함 주요 AI 기업들은 표준화된 수집 거부 신호를 존중하는 데 지지를 표했지만 준수는 자발적이며, 제3자 업체와 소규모 AI 스타트업의 문제 봇은 합의 대상에서 빠져 있음 공개 디지털 자료에 집중되는 봇 트래픽 AI 기업과 제3자 업체의 봇은 웹사이트에서 데이터를 수집하며, 이를 Claude, Gemini, ChatGPT 같은 LLM의 학습에 사용하는 경우가 많음 도서관, 박물관, 문화유산 기관은 검증된 양질의 정보를 보유하고 대체로 유료 장벽이나 로그인 없이 공개하므로 주요 수집 대상이 됨 대학 도서관의 학술, 역사, 정부 문서 아카이브에는 지속적인 봇 요청이 몰려 자료 컬렉션 전체가 오프라인 상태가 되기도 함 San Jose State University의 Jill Strykowski에 따르면 디지털화와 정보 공개를 추진하는 기관마다 대응 업무와 부담이 크게 늘었음 문화유산 기관의 봇 피해를 조사한 연구에 따르면 관련 보고는 2024년 말 북미, 유럽, 오세아니아에서 나타나기 시작했으며, 전문가들이 보기에는 문제가 계속 악화하고 있음 University of Victoria Libraries의 Dean Seeman에 따르면 봇 트래픽이 심할 때 사이트가 한동안 완전히 중단되며, 이는 공공 접근권에 직접적인 문제가 됨 Ontario Tech University의 Peter Lewis는 일반 이용자가 사실상 봇 팜의 무한한 트래픽과 경쟁하는 상황을 비판함 대형 민간 기업이 공익 기관의 자료를 무료로 이용할 수 있다고 전제하고 추출한 뒤, 이를 사람들이 다시 구매하는 상업용 모델 제작에 활용한다는 점도 비판함 정상적인 수집과 사이트를 마비시키는 수집의 차이 문화 저작물을 디지털화하고 ...