외부 로봇이 사이트에 있는 문서 퍼가게 하기 robots.txt 정보
외부 로봇이 사이트에 있는 문서 퍼가게 하기 robots.txt본문
외부 로봇이 운영중인 사이트에 대해 문서를 원활이 퍼갈 수 있게 설정해야 합니다.
이유는 커뮤니티 사이트를 운영하는데... 구글이나 네이버 등에서 사이트에 문서를 퍼가지 못한다면
포털사이트에 검색이 되지 않을 것입니다.
그누보드로 사이트를 만들었는데...특별한 홍보 활동도 하지 않고 사이트에 방문자가 늘어나갈 기도한다면
이루어질 수 없을 것입니다.
홈디렉터리에 robots.txt 라는 파일을 만들고
그 안에
User-agent: *
Disallow:
위 와 같은 문자열을 넣어주면 됩니다.
이유는 커뮤니티 사이트를 운영하는데... 구글이나 네이버 등에서 사이트에 문서를 퍼가지 못한다면
포털사이트에 검색이 되지 않을 것입니다.
그누보드로 사이트를 만들었는데...특별한 홍보 활동도 하지 않고 사이트에 방문자가 늘어나갈 기도한다면
이루어질 수 없을 것입니다.
홈디렉터리에 robots.txt 라는 파일을 만들고
그 안에
User-agent: *
Disallow:
위 와 같은 문자열을 넣어주면 됩니다.
추천
0
0
댓글 4개
???
이거 아닌가요?
User-agent: *
Allow: /
님이 알려주신건허용을 모두 안하겠다는줄 알았는데....
User-agent: *
Disallow:
이거 아닌가요?
User-agent: *
Allow: /
님이 알려주신건허용을 모두 안하겠다는줄 알았는데....
User-agent: *
Disallow:
전체 웹사아트를 검색엔진이 색인하도록 허용하고자 할 때에는 다음과 같이 robots.txt 파일을 추가합니다.
User-agent: *
Disallow:
또 다른 해결 방법으로는 단순하게 robots.txt를 사이트로부터 제거 하는 것입니다.
검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 추가합니다.
User-agent: *
Disallow: /
https://korea.googleblog.com/2008/04/robotstxt.html
https://support.google.com/webmasters/answer/6062596?hl=ko&ref_topic=6061961
User-agent: *
Disallow:
또 다른 해결 방법으로는 단순하게 robots.txt를 사이트로부터 제거 하는 것입니다.
검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 추가합니다.
User-agent: *
Disallow: /
https://korea.googleblog.com/2008/04/robotstxt.html
https://support.google.com/webmasters/answer/6062596?hl=ko&ref_topic=6061961
아래 주소에서 3번글 참조하세요!
http://webmastertool.naver.com/guide/basic_optimize.naver
3. 네이버 검색로봇이 사이트에 접근할 수 있도록 허용해주세요
사이트의 문서에 네이버 검색로봇의 접근이 가능하게 하려면, robots.txt를 아래처럼 설정하세요.
(예) 네이버 검색로봇만 접근 가능하게 설정
User-agent: Yeti
Allow: /
(예) 모든 검색엔진의 로봇에 대하여 접근 가능하게 설정
User-agent: *
Allow: /
여러분의 웹 서버 혹은 방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti 입니다.
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html)
부득이하게 검색 로봇을 차단해야 하는 경우 IP 기반으로 차단하지 마세요. 검색 로봇의 IP 대역은 언제든지 변경될 수 있습니다. 검색 로봇의 접근 제어는 표준적인 방식인 robots.txt를 활용하세요.
http://webmastertool.naver.com/guide/basic_optimize.naver
3. 네이버 검색로봇이 사이트에 접근할 수 있도록 허용해주세요
사이트의 문서에 네이버 검색로봇의 접근이 가능하게 하려면, robots.txt를 아래처럼 설정하세요.
(예) 네이버 검색로봇만 접근 가능하게 설정
User-agent: Yeti
Allow: /
(예) 모든 검색엔진의 로봇에 대하여 접근 가능하게 설정
User-agent: *
Allow: /
여러분의 웹 서버 혹은 방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti 입니다.
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html)
부득이하게 검색 로봇을 차단해야 하는 경우 IP 기반으로 차단하지 마세요. 검색 로봇의 IP 대역은 언제든지 변경될 수 있습니다. 검색 로봇의 접근 제어는 표준적인 방식인 robots.txt를 활용하세요.
홈디렉토리 정확히 어디인가요 ? 완전초보입니다.
