Anubis에 WebAssembly를 탑재하기까지 1년이 걸렸다

• Anubis는 AI 기업의 공격적인 웹사이트 스크래핑으로 인한 서비스 중단과 이용자의 접근 불가를 막기 위해 관리자가 설치하는 서버 보호 도구임
• 이메일 스팸을 줄이기 위해 제안된 Hashcash와 유사한 작업 증명(Proof-of-Work) 방식을 사용함
• 개별 이용자의 추가 부하는 미미하지만, 대규모 스크래핑에서는 부하가 누적되어 수집 비용이 크게 늘어남
• 작업 증명은 임시 대응책이며, 헤드리스 브라우저 식별을 개선해 정상 이용자에게는 검증 페이지를 보여주지 않는 것이 목표임
• 최신 JavaScript 기능이 필요하므로, 해당 도메인에서는 이를 차단하는 JShelter 등의 플러그인을 비활성화해야 함

스크래핑 비용을 높이는 작업 증명

• 웹사이트 관리자는 AI 기업의 공격적인 스크래핑에 대응하기 위해 Anubis를 설치함
  • 이러한 스크래핑은 서비스 중단을 일으켜 모든 이용자가 웹사이트 자원에 접근하지 못하게 할 수 있음
• Hashcash 계열 작업 증명은 개별 이용자에게는 무시할 만한 추가 부하를 주되, 대규모 수집에서는 누적 비용을 높이는 절충안임

브라우저 식별 개선과 JavaScript 요구 사항

• 작업 증명 페이지는 헤드리스 브라우저 식별을 개선할 시간을 확보하기 위한 임시 수단임
  • 글꼴 렌더링 방식 등을 활용한 브라우저 지문 수집·식별을 개선해, 정상 이용자일 가능성이 높은 사용자에게는 검증 페이지를 보여주지 않는 것이 목표임
• Anubis를 이용하려면 최신 JavaScript 기능이 필요함
  • JShelter처럼 해당 기능을 비활성화하는 플러그인은 이 도메인에서 꺼야 함