구글 크롤링
본문
robots.txt
에서
User-agent: *
Allow: /
User-agent: *
Disallow: /ssadm
윗부분 내용이 뭔지 아시는분 ?
답변 1
* : 모든 크롤러
Allow / ; root만 허용
"""
User-agent: *
Disallow: /ssadm
""" 이는 모든 크롤러에 대해, "/ssadm"는 제한.
※ 님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)
User-agent: *
Disallow: /ssadm
Allow: /
답변을 작성하시기 전에 로그인 해주세요.