구글 크롤링
본문
robots.txt
에서
User-agent: *
Allow: /
User-agent: *
Disallow: /ssadm
윗부분 내용이 뭔지 아시는분 ?
답변 2
* : 모든 크롤러
Allow / ; root만 허용
"""
User-agent: *
Disallow: /ssadm
""" 이는 모든 크롤러에 대해, "/ssadm"는 제한.
※ 님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)
User-agent: *
Disallow: /ssadm
Allow: /
전체 허용 이후 해당 폴더만 차단
해당 폴더 차단 이후 전체 허용 글쎄요 ... 다른 규칙은 모르겠지만, 이건 크게 개의치 않을 것 같은데요?
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
이렇게 변경하는게 좋을까요‘ㅠ
@미니님a
문제가 되어 보이기도 하군요 ㅠ ㅠ
@윤대진
민감한 디렉토리의 존재 자체를 노출하지 않으려면,
/ssadm 디렉토리를 robots.txt에서 언급하지 않는 것이 더 안전하긴 한데~
> 웹 서버에서 접근을 차단하거나 인증을 요구하도록 설정하세요~
"""/""" 추가
User-agent: *
Disallow: /ssadm/
Allow: /
> 현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
User-agent: *
Allow: /
User-agent: *
Disallow: /ssadm
현재 이렇게 설정이 되어 있는데,
이걸 전부 지우고
User-agent: *
Disallow: /ssadm
Allow: /
이렇게 변경하는 것이 좋으시단 말씀이시죵?
"""/""" 추가 <--- 이건뭔가요 ?
@윤대진
현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감한 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
꼭, 쓰셔야한다면 아래처럼 쓰세요.
User-agent: *
Disallow: /ssadm/
Allow: /
user-agent : * > 모든 검색 엔진에게 적용하겠다!!
Disallow : /ssadm 관리자 폴더는 접근하지마라!!! 라는 뜻입니다.
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
