Cloudflare, AI 봇을 위한 크롤링별 과금(pay-per-crawl) 도입

4 days ago 9

AI 크롤러에 대해 콘텐츠 소유자가 접근 시 과금할 수 있는 새로운 서비스를 발표
콘텐츠 제작자는 무료 허용, 완전 차단, 또는 유료 접근 허용의 세 가지 선택지를 가질 수 있음
과금은 표준 HTTP 402 Payment Required 응답 기반으로 동작하며, Cloudflare가 결제 및 정산 인프라를 제공함
크롤러와 콘텐츠 소유자는 프로그램 방식 인증 및 결제를 통해 투명성 및 보안을 확보함
해당 서비스는 프라이빗 베타로 시작하며, 미래에는 다양한 사용 사례와 동적 과금 지원 확장 예정

AI 소비 환경의 변화

많은 게시자, 콘텐츠 제작자, 웹사이트 소유자는 지금까지 AI 크롤러에 대해 모든 접근을 허용하거나 전면 차단하는 이분법적 선택만 가능했음
Cloudflare는 콘텐츠 소유자의 통제권 강화를 기본 원칙으로, AI 크롤러를 모두 차단하거나 무료로 허용할 수도 있고, 원하는 크롤러만 선택적으로 접근을 허용할 수도 있는 환경을 추구함
수백 개의 미디어 기업, 퍼블리셔, 대형 소셜 플랫폼 등과의 논의를 통해, AI 크롤러에게 접근을 허용하되 보상을 받고자 하는 니즈가 큼을 확인함
기존에는 크롤러와 개별 협상 후 접근을 허용해야 했으나, 규모와 협상력 부족으로 소규모 사이트엔 실질적으로 불가능했음

'크롤링별 과금(pay per crawl)' 모델의 도입

무료 또는 차단이라는 극단적 선택 외에, Cloudflare는 접근 과금이라는 3번째 옵션을 제안함
이를 활용해 콘텐츠 소유자는 인터넷 규모에서 디지털 자산 수익화가 가능해짐
핵심 기술적 기반은 거의 잊혀진 HTTP 402 Payment Required 상태코드로, 크롤러가 결제 의사를 밝힐 경우 200 OK로 콘텐츠 제공, 그렇지 않으면 402 응답으로 가격을 통지함
Cloudflare는 Merchant of Record 역할로 결제 처리와 기술 인프라를 책임짐

퍼블리셔의 조정 권한과 가격 정책

사이트 전체에 대한 고정 단가를 퍼블리셔가 설정 가능함
- 허용(무료 제공)
- 과금(설정된 가격에 결제 시 제공)
- 차단(접근 불가 및 향후 관계 가능성 안내)
크롤러 별로 과금 예외, 무료 접근 허용, 개별 협상 등 융통성 있는 정책 운용 지원
Cloudflare의 보안 정책(WAF, 봇 관리 등) 과 연동, 기존 방화벽을 우선 적용 후 pay per crawl 룰이 작동함

인증 및 결제 프로토콜: Web Bot Auth

특정 크롤러만 결제 및 접근 권한을 받도록 설계되어, 크롤러 ID 조작(스푸핑) 방지
크롤러는 Ed25519 키 페어 생성, JWK 형식 퍼블릭키 디렉토리 등록, Cloudflare에 정보 제출 필요
HTTP 메시지 서명(Signature-Agent, Signature-Input, Signature) 헤더로 신원 및 결제 의사 증명

유료 콘텐츠 접근 방식

두 가지 프로토콜 지원
- 반응형(발견 우선): 크롤러가 유료 URL 요청 시 402 응답과 가격 제시 → 동의 시 재요청에서 'crawler-exact-price' 헤더 포함
- 선제적(의도 우선): 최초 요청에 'crawler-max-price' 헤더로 결제 상한 전달 → 기준액 이하면 200 OK와 과금 내역 전달
가격 협상 및 결제 의사 표현이 프로그래머블 방식으로 지원됨

정산 및 재무 처리

크롤러 운영자와 콘텐츠 소유자는 Cloudflare 계정에 결제 정보 등록 필요
인증된 결제 요청 및 200 OK 응답마다 과금 이벤트 기록, Cloudflare가 집계 후 크롤러에 청구 및 퍼블리셔에 정산

에이전트 시대를 향한 변화의 시작

pay per crawl은 온라인 콘텐츠 통제 기술의 진화를 상징함
프로그래머블 자산 가치 산정 방식을 통한 창작자 보호와 신규 BM(비즈니스모델) 확장 기대
향후에는 콘텐츠 유형/경로별 동적 과금, AI 트래픽 규모 기반 요율 산정, 대규모 라이선스 관리 등 다양한 확장성 논의 중
HTTP 402 채택으로, AI/에이전트들이 디지털 자원 접근 조건을 프로그래머틱하게 협상하는 미래에 대응 가능

시작 안내

pay per crawl 기능은 프라이빗 베타로 우선 제공 중
사용을 희망하는 크롤러 및 콘텐츠 제작자는 별도 신청 링크를 통해 문의 가능
Cloudflare는 DDoS 방어, 인터넷 접속 가속화, 인터넷 애플리케이션 구축, 해커 차단, Zero Trust 구현 등도 지원

관련 추가 정보 및 동향

'Content Independence Day' 등 크롤러의 무상 크롤링 차단 움직임과 Cloudflare의 로봇 관리 솔루션 확대 중
2024~2025년 사이 AI 크롤러 트래픽 18% 증가, GPTBot 305%, Googlebot 96% 성장 수치 발표
공개키 기반 메시지 서명을 통한 크롤러 인증 강화 기능도 동시 도입

Read Entire Article