사이트를 운영하다보면 불가피하게 봇들과의 전쟁이 이뤄지게되는데
기존 nginx, apache에서 처리하던걸 모듈단에서 처리할 수 있게 만들어주셨네요.
서버포럼에도 적용해놔야겠습니다
귀중한 서버 자원과 트래픽을 쪽쪽 빨아먹는 기생충 같은 로봇들을 차단합니다.
널리 알려진 불량 로봇 목록이 기본 적재되어 있습니다.
불량 로봇으로 간주하는 기준은
1) 검색 노출을 통한 방문자 유입이나 광고 수익 등 명백한 혜택을 주지 않으면서
2) 운영자의 동의 없이 홈페이지를 대규모로 크롤링하여
3) 서버 부하 증가, 해외 트래픽 요금 등의 피해를 입힌 이력이 있는 user-agent 또는 IP 대역입니다.
통계 작성이나 마케팅을 위한 데이터 수집, AI 학습 데이터 수집은 대부분 해당됩니다.
국내 호스팅 환경 특성상, 해외 로봇은 거의 다 3번에 걸립니다.
만약 특정 업체의 크롤링에 동의하셨다면 해당 user-agent나 IP 대역을 목록에서 제외하세요.
물론 .htaccess나 서버 설정으로 차단하는 것이 훨씬 더 효율적이겠지만,
웹호스팅에서는 서버 설정을 임의로 수정하기도 어렵고
.htaccess를 수정하면 코어 업데이트시 덮어씌워질 수 있으므로
좀더 관리하기 편한 방법을 제공합니다.
서버에서 이미 불량 로봇을 차단하고 있는 경우, 이 모듈을 사용하지 않으셔도 됩니다.
