서치로봇 블로그 검색 차단

아래의 두꺼운 녹색 글씨로 써진 것은 robots.txt 의 내용입니다.
이것을 하는 이유는 자신의 글이 검색이 잘 되는 것을 방지하기 위함입니다. 블러그를 이용하여 수익을 올리고자 하는 사람도 있고 인기를 얻고 교류를 나누기를 원하는 사람이 있는 반면에 그렇게 유명하기를 원치 않고 남들과는 다르게 많이 폐쇠적으로 운영을 하려는 목적의 사람도 분명 존재 합니다.

특히나 자신의 블러그에 정치적인 의견이라던가 아이디어라던가하는 것을 기록 하는 사람들은 무차별적으로 뚫고 들어와 소중한 글을 마구 수집해가는 로봇이 많이 짜증 날 겁니다.
이런 분을 위해 사용하는 것 입니다.

티스토리에서는 robots.txt 를 만들어 파일올리기를 하면 루트에 들어가지 않더군요.

티스토리에서는 이렇게 써주면 됩니다.

<meta name="robots" content="noindex">

어떠한 검색로봇도 내 블로그나 홈피으ㅔ 담긴 정보를 검색해가지 못하게 합니다. 

Google 로봇을 제외한 다른 모든 로봇이 사이트의 페이지에 대해 색인을 생성하도록 허용하려면 다음 메타 태그를 추가합니다.  

<meta name="googlebot" content="noindex">



이렇게 하면 티스토리에서도 검색로봇에 의하여 내 정보를 마구마구 퍼가는 것을 방지하실 수 있습니다.

다만 뭐 네이버는 다음을 싫어하기 때문에 다른 검색기에서는 전부 검색해내는 다음의 티스토리 블로그 내용을 네이버 검색기에서는 쉽게 검색이 안되더군요.

 

[출처] 메타 태그를 사용하여 사이트 액세스 차단하기|작성자 라이

# robots.txt generated at http://www.mcanerin.com

User-agent: Googlebot

Disallow: /

User-agent: googlebot-image

Disallow: /

User-agent: googlebot-mobile

Disallow: /

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: Teoma

Disallow: 

User-agent: twiceler

Disallow: 

User-agent: Gigabot

Disallow: /

User-agent: Scrubby

Disallow: /

User-agent: Robozilla

Disallow: /

User-agent: Nutch

Disallow: /

User-agent: ia_archiver

Disallow: /

User-agent: baiduspider

Disallow: /

User-agent: naverbot

Disallow: /

User-agent: yeti

Disallow: /

User-agent: yahoo-mmcrawler

Disallow: /

User-agent: psbot

Disallow: /

User-agent: asterias

Disallow: /

User-agent: yahoo-blogs/v3.9

Disallow: /

User-agent: *

Disallow: 

Sitemap: http://자신의 홈페이지 주소

robots.txt

http://bklove.info/260 보다 자세한 내용은 이곳을 참조하세요.