GNU Emacs에서 lsp-mode에서 Eglot으로 이동하기

5 hours ago 2

Wandering Thoughts와 CSpace 일부는 오래된 브라우저 User-Agent가 크롤러 방지 규칙에 걸리면 차단 페이지를 표시함
2025년 초 대량 크롤러가 늘었고, 일부는 LLM 학습용 데이터 수집 목적처럼 보이며 오래된 Chrome User-Agent를 사용함
사이트 부하를 줄이기 위해 오래된 브라우저 User-Agent 차단을 실험 중이며, 정상 사용자도 오탐될 수 있음
최신 브라우저에서도 차단되면 토론토대 개인 페이지로 연락할 수 있고, 브라우저와 정확한 User-Agent 문자열을 보내야 함
archive.* 계열은 오래된 Chrome User-Agent와 분산 IP 때문에 구별이 어려워, Wandering Thoughts 아카이브에는 archive.org가 권장됨

차단 페이지가 표시되는 이유

Wandering Thoughts나 CSpace 일부에 접근할 때, 브라우저 버전이 사이트의 크롤러 방지 규칙에서 의심스럽게 분류되면 차단 페이지가 표시됨
2025년 초 기준 대량 크롤러가 늘었고, 일부는 LLM 학습용 데이터 수집 목적처럼 보이며 오래된 Chrome User-Agent를 포함한 여러 오래된 브라우저 User-Agent를 사용함
사이트 부하를 줄이기 위해 오래된 브라우저 User-Agent를 차단하는 실험이 진행 중이며, 정상 사용자도 이 규칙에 걸릴 수 있음
최신 브라우저를 쓰는데도 차단된다면 토론토대 개인 페이지를 통해 연락할 수 있으며, 가능하면 사용 중인 브라우저와 정확한 User-Agent 문자열을 함께 보내야 함

사용자별 참고 사항

Inoreader 사용자
- Inoreader의 피드 수집기 자체는 차단 대상이 아니며, 실제로 피드를 정기적으로 가져가고 있음
- Inoreader가 오래된 브라우저 HTTP User-Agent나 실제 오래된 브라우저로 피드 또는 페이지를 가져온 뒤, 그 결과로 받은 차단 페이지를 사용자에게 보여줄 수 있음
- 최신 HTTP 요청 결과는 사용된 HTTP User-Agent에 따라 달라질 수 있으며, 관련 내용은 HTTPResultsAndUserAgents에 있음
Vivaldi 사용자
- 진행 중인 공격 때문에 최신 Vivaldi도 Google Chrome으로 식별되면 차단될 수 있음
- Vivaldi가 Google Chrome이 아니라 Vivaldi로 식별되도록 "User Agent Brand Masking" 설정을 바꿔야 할 수 있음
archive.* 사용자
- archive.today, archive.ph, archive.is 등을 통해 이 차단 페이지를 볼 수 있음
- **archive.***는 오래된 Chrome User-Agent를 쓰고, 넓게 분산된 IP 블록에서 크롤링하며, 일부 IP는 googlebot IP라고 주장하는 위조된 역방향 DNS 항목을 갖고 있어 악성 행위자와 구별하기 어려움
- Wandering Thoughts를 아카이브하려면 더 잘 동작하는 아카이브 크롤러인 archive.org 사용이 권장됨

Read Entire Article