Anubis: AI 대량 데이터 스크래핑 방지 웹사이트 방어
AI 기업의 대규모 데이터 스크래핑으로 인한 서버 다운타임에 대응하기 위해 이 웹사이트는 Anubis라는 스크래핑 방지 메커니즘을 구현했습니다. Anubis는 Hashcash와 유사한 작업 증명(PoW) 방식을 사용하며, 개별 사용자에 대한 오버헤드는 무시할 수 있지만 대규모 스크래핑 비용은 크게 증가합니다. 이는 임시적인 해결책이며, 향후 개선은 지문 인식 및 헤드리스 브라우저 감지를 중심으로 정확도를 높이고 정상 사용자에게 미치는 영향을 줄이는 데 초점을 맞춥니다. Anubis는 최신 JavaScript 기능이 필요하다는 점에 유의하십시오. JavaScript를 비활성화할 수 있는 JShelter와 같은 플러그인을 비활성화하십시오.
더 보기