구글 크롤링

매출이 오르면 내리는 수수료! 지금 수수료센터에서 전자결제(PG)수수료 비교견적 신청해 보세요!
구글 크롤링

QA

구글 크롤링

본문

robots.txt
에서 


User-agent: *
Allow: /


User-agent: *
Disallow: /ssadm   

윗부분 내용이 뭔지 아시는분 ? 
 

이 질문에 댓글 쓰기 :

답변 1

* : 모든 크롤러

 

Allow /  ;  root만 허용

 

"""
User-agent: *

Disallow: /ssadm
""" 이는 모든 크롤러에 대해,  "/ssadm"는 제한.

 

※  님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)


User-agent: *
Disallow: /ssadm
Allow: /
답변을 작성하시기 전에 로그인 해주세요.
전체 0
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT