구글 크롤링

매출이 오르면 내리는 수수료! 지금 수수료센터에서 전자결제(PG)수수료 비교견적 신청해 보세요!
구글 크롤링

QA

구글 크롤링

답변 3

본문

robots.txt
에서 


User-agent: *
Allow: /


User-agent: *
Disallow: /ssadm   

윗부분 내용이 뭔지 아시는분 ? 
 

이 질문에 댓글 쓰기 :

답변 3

* : 모든 크롤러

 

Allow /  ;  root만 허용

 

"""
User-agent: *

Disallow: /ssadm
""" 이는 모든 크롤러에 대해,  "/ssadm"는 제한.

 

※  님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)


User-agent: *
Disallow: /ssadm
Allow: /


민감한 디렉토리의 존재 자체를 노출하지 않으려면,
/ssadm 디렉토리를 robots.txt에서 언급하지 않는 것이 더 안전하긴 한데~
 
> 웹 서버에서 접근을 차단하거나 인증을 요구하도록 설정하세요~

"""/""" 추가


User-agent: *
Disallow: /ssadm/
Allow: /


  > 현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
    (- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
    민감 데이터가 포함된 디렉토리라면
    서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.

User-agent: *
Allow: /


User-agent: *
Disallow: /ssadm


현재 이렇게 설정이 되어 있는데,
이걸 전부 지우고

User-agent: *
Disallow: /ssadm
Allow: /

이렇게 변경하는 것이 좋으시단 말씀이시죵?

"""/""" 추가 <--- 이건뭔가요 ?


현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
    (- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
    민감한 데이터가 포함된 디렉토리라면
    서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.

꼭, 쓰셔야한다면 아래처럼 쓰세요.


User-agent: *
Disallow: /ssadm/
Allow: /

user-agent : * > 모든 검색 엔진에게 적용하겠다!!

Disallow : /ssadm 관리자 폴더는 접근하지마라!!! 라는 뜻입니다.

답변을 작성하시기 전에 로그인 해주세요.
QA 내용 검색
질문등록
전체 0
© SIRSOFT
현재 페이지 제일 처음으로