robots.txt 질문입니다.
본문
안녕하세요. 주말 잘 보내시고 계신가요?
robots.txt 파일 작성을 많이 검색해봐도 헤깔립니다.
어떻게 하는게 적당한(?) 방법일까? 고민 중입니다.
그래서 ChatGPT에게 나의 고민을 말했습니다.
그랬더니 아래와 같이 답변을 줬습니다.
1. 아래 ChatGPT 답변에 대한 팩트 체크 부탁드립니다.
2. 아래 문구에서 구글봇은 admin 폴더외 다른 페이지/폴더는 접근이 가능한건가요?
전제 조건으로 모든 로봇은 접근 금지!!! 했는데 아래와 같이 개별 적으로 로봇을 정의하면 적용이 되는것인지? 아니면 모든 로봇을 막았는데 개별 허용설정은 의미가 없는건지? 이 부분이 가장 헤깔립니다.
그래서 제 생각에는 만약 처음에 모든 로봇 차단 후 밑으로 개별 설정이 가능하다면. 아래와 같이 먼저, 구글봇은 1) 모든 곳에 대해 접근이 가능하다를 선언하고 2) 하지만 admin 폴더는 접근 안돼~!!!! 라고 정의 해주는게 맞지 않나? 란 생각을 해봅니다. 점점 더 헤깔리기 시작하네요. ㅠㅠ
User-agent: Googlebot
Allow: /
Disallow: /admin/
3. 그리고 아래 중 어떻게 설정하는게 효율적일까요?
1) 모든 검색로봇 막는다 > 내가 필요한 검색로봇만 몇개 허용한다.
2) 모든 검색로봇 허용한다 > 세계적으로 유명한 악질 검색로봇을 막는다.
먼저 감사 드립니다.
그리고 남은 주말 잘 보내세요.
답변 2
1. 그누보드 자체에서 보안처리했기 때문에 robot 파일에 굳이 관리자 폴더 위치 공개할 필요 없다네요.
2. 서버 자원 넉넉하면 주소 퍼가게 하고, 안 넉넉하면 필요한 봇만 접근시키세요.
신비님 질문 비슷한거 올린거 사전검색하면서 봤습니다. 의견 감사합니다
관리페이지의 경우 robots.txt 파일에 정의하지 않는 것이 좋습니다.
또한 관리자 외의 접근은 php 코드상에서 접근을 비허용 하는 방향으로 잡는 것이 좋습니다.
네. 의견 감사합니다.