그누보드5 robots.txt로 게시판 전체를 크롤링 못하게 하려면 (질문)
본문
a게시판의 글쓰기 뷰페이지 리스트 모두를 크롤링 안되게 하고싶어요
답변 2
robots.txt 파일을 통해 특정 게시판이나
전체 웹사이트를 검색 엔진의 크롤링에서 제외할 수는 있지만,
이것이 완벽하게 크롤링을 차단하는 방법은 아닙니다.
＊robots.txt로 검색 엔진의 크롤링 요청을 우선 막습니다.
＊서버 레벨에서 User-Agent와 IP 차단 규칙을 추가.
＊중요한 데이터는 HTTP 인증이나 로그인으로 보호.
＊메타 태그와 JavaScript 난독화를 보조적으로 사용.
"절대적으로 불가능"하게 만드는 것은 어렵기 때문에
보안과 프라이버시 수준에 따라 여러 계층의 방어를 조합하는 것이 최선입니다.
Ps) 악성 크롤러는
robots.txt 파일을 무시하거나 이를 우회하여 웹사이트를 크롤링할 가능성이 높습니다.
robots.txt는 기본적으로 크롤러에게 크롤링을 자제하라는 요청일 뿐
강제성을 가지지 않기 때문에 악성 크롤러에게는 무력합니다.
robots.txt 파일에 특정 게시판 경로를 차단하도록 규칙을 추가하시면 됩니다.
User-agent: *
Disallow: /board.php?bo_table=게시판아이디
답변을 작성하시기 전에 로그인 해주세요.
