구글로봇질문
본문
User-agent: Yeti
Allow:/
안녕하세요 제가 고민하다가 질문드려봅니다 ㅠㅠ !
그누보드5에 루트에 로봇텍스트 이렇게 집어넣어놨는데요 이렇게 되면 네이버만 들어오고 구글은 들어오기 힘들까요?? 혹시 모든 로봇 들어오게하면 스팸 증가할라나요??
답변 2
robots.txt는 검색엔진 크롤러에게 크롤링 지침을 제공하는 권고 사항으로,
정상적인 크롤러에는 효과적이지만, 악성 봇은 이를 무시하거나
다른 방식으로 접근할 수 있어 한계가 있습니다.
크롤러는 외부 링크, 캐시 데이터, IP 접근 등을 통해 robots.txt를 우회할 수 있으며,
검색 결과에서 URL을 숨기거나 데이터 노출을 방지하려면
추가적인 보안 설정(HTTP 헤더, 서버 접근 제어)이 필요합니다.
robots.txt는 정상적인 검색엔진 크롤러를 관리하는 데 효과적인 도구일 뿐,
악성 크롤러나 데이터 노출 방지에는 한계가 있습니다.
robots.txt는 크롤링 지침일 뿐, 보안 설정을 대체할 수 없으며,
보안과 스팸 방지에는 별도의 기술적 조치가 필요합니다.
★ 네이버와 구글을 허용하는 정도로 사용하시고 이에 큰 의미는 두지 마세요.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Yeti
Allow: /
- 실질적으로 통제해야할 악성 크롤러들은 통제할 수 없음을 염두에 두세요.
User-agent: *
Disallow: /
User-agent: Yeti
Allow: /
이렇게 설정하면 네이버 로봇만 들어옵니다.
스팸과 로봇 접근은 별개의 문제 입니다.
답변을 작성하시기 전에 로그인 해주세요.