AI 크롤러가 트래픽을 지배해 일부 국가 차단 조치

오픈 소스 개발자들이 AI 크롤러 트래픽에 맞서 싸우는 이유

• AI 크롤러의 문제점: 소프트웨어 개발자 Xe Iaso는 Amazon의 공격적인 AI 크롤러 트래픽으로 인해 Git 저장소 서비스가 불안정해지고 다운타임이 발생하는 문제를 겪음. 표준 방어 조치를 설정했음에도 불구하고 AI 크롤러는 사용자 에이전트를 속이고 주거 IP 주소를 프록시로 사용하여 모든 차단 시도를 회피함.

• Anubis 시스템 도입: Iaso는 VPN 뒤로 서버를 이동하고 "Anubis"라는 맞춤형 작업 증명 시스템을 만들어 사이트에 접근하기 전에 웹 브라우저가 계산 퍼즐을 해결하도록 함. 이는 AI 크롤러를 차단하기 위한 절박한 시도로, AI 크롤러가 거짓말을 하고 사용자 에이전트를 변경하며 주거 IP 주소를 프록시로 사용하는 등의 문제를 해결하기 위함임.

• 오픈 소스 커뮤니티의 위기: AI 크롤러가 커뮤니티 유지 인프라를 과부하시키고 있으며, 이는 지속적인 분산 서비스 거부(DDoS) 공격과 유사한 문제를 야기함. LibreNews의 보고서에 따르면, 일부 오픈 소스 프로젝트는 AI 회사의 봇으로부터 오는 트래픽이 전체의 97%에 달하며, 이는 대역폭 비용 증가, 서비스 불안정성, 유지 관리자의 부담을 가중시킴.

• Anubis의 효과와 한계: GNOME GitLab은 Anubis 시스템을 도입하여 브라우저가 콘텐츠에 접근하기 전에 계산 퍼즐을 해결하도록 요구함. 그러나 많은 사용자가 동시에 링크에 접근할 경우 지연이 발생할 수 있으며, 모바일 사용자는 작업 증명 완료를 위해 최대 2분을 기다려야 하는 경우도 있음.

• AI 크롤러의 책임 문제: AI 회사들은 데이터 수집을 위해 웹 크롤링을 수행하며, 이는 대규모 언어 모델을 구축하거나 실시간 검색을 수행하기 위한 것으로 추정됨. 그러나 이러한 크롤링은 지속적인 데이터 수집을 나타내며, 일부 회사는 더 공격적인 접근 방식을 취함.

• 방어 도구의 개발: AI 크롤러에 맞서기 위해 새로운 방어 도구들이 개발되고 있음. 예를 들어, "Nepenthes"는 AI 크롤러를 가짜 콘텐츠의 미로에 가두는 도구로, AI 회사의 자원을 낭비하게 만듦. Cloudflare는 "AI Labyrinth"라는 상업적으로 다듬어진 접근 방식을 발표하여 웹사이트 소유자를 보호함.

• 협력의 필요성: AI 회사들이 오픈 소스 프로젝트와 협력하여 데이터 수집을 책임감 있게 수행할 수 있다면, 디지털 생태계의 지속 가능성을 위협하는 문제를 해결할 수 있을 것임. 그러나 현재로서는 AI 회사들이 협력적인 관행을 채택할 동기가 부족하며, 데이터 수집을 둘러싼 경쟁이 심화될 가능성이 있음.