robots.txt 를 풀어놨다.

Posted 2008/05/20 15:30, Filed under: 뚜.. 서툰../중얼거림
사용자 삽입 이미지

그동안 robots.txt 를 설정해서 모든 봇들은 접근하지 말라고 했건만
구글, 네이버 이외에는 꾸준히 들어오더만.
엠파스는 꾹꾹 참아가며 고객센터에 메일을 보냈더니 잠시 멈추는가 싶더니 다시 들어오고.

그래서 그냥 풀어놔 버렸다...
봇들이 아싸 했는지 200명을 훌쩍 넘기더군.

크리에이티브 커먼즈 라이센스
Creative Commons License
2008/05/20 15:30 2008/05/20 15:30

Trackback URL : http://simplelife.pe.kr/tc/trackback/544


사용자 삽입 이미지

이번에 텍스트큐브로 갈아타면서
robots.txt 를 설정했다.

User-agent: *
Disallow: /tc

홈페이지 최상위 폴더에 rotots.txt 파일을 생성해서 위와 같이 설정하면
검색로봇이 tc 폴더내의 데이터를 읽지 못하게 한다.
아니.. 읽지 말라고 협조를 구하는거지..

참고로
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
이렇게 설정하면 구글봇은 허용하고 그 이외의 것은 전혀 허용안한다는 의미이다.
그냥 보면 어떻게 설정하는지 알겠지.

팁 같은건 이올린쪽에 올라가도록 발행을 하고는 있는데.
검색엔진들이 와서 내 페이지를 긁어가는게 어느 순간부터 싫더라고..

그래서 저걸 설정한 이후로는 검색엔진이 왔다가 그냥 가고 있는듯 보인다..
폴더는 기존에 tt1 을 썼는데 이번에 tc로 바꿔서 예전 링크는 다 깨졌을테고..

그런데 엠파스 이 녀석만은 나의 협조를 무참히 밟어버린다.

무슨 열린 검색이라나.. ㅡㅡ;;;
아마.. 얘전에 네이버 DB를 검색하면서 그러고 있나 보다.
포털끼리 싸우는건 그들끼리 알아서 할일이지만..

내가 거부했으면 오지 말아야 하는거 아닌가..

덴당.. IP로 막아볼까...
이 녀석 IP는 어찌 될까..

문듯 생각해보니........
이거 이올린에 올라오는거 긁어가는거 아냐.. ㅡㅡa
혹시나 하고 발행안 된 녀석들 제목으로 검색하니 나온다...
직접 오는거군...

크리에이티브 커먼즈 라이센스
Creative Commons License
2007/11/24 23:37 2007/11/24 23:37

Trackback URL : http://simplelife.pe.kr/tc/trackback/455



뚜는 지금.. 사랑해사랑해
아.. 열심히 살자..
남자B형염소자리인천

Categories

전체 (504)
뚜.. 서툰.. (258)
폰 이야기 (13)
나의 길 (85)
읽을거리 (21)
사진갤러리 (124)

Recent Posts

  1. Android Studio 2.2 에서 layout 미리...
  2. mac 에서 ssh 접속시 한글 입력이 안될때.
  3. Android Studio. Zxing 라이브러리 사...
  4. 안드로이드 프로젝트를 SVN 등록시 bin...
  5. 안드로이드에서 android.annotation 를...

Recent Comments

  1. Thanhk you for this informative read... Software Engineering 2018
  2. 오전부터 이것때문에 하루 종일 고생함... choi 2016
  3. 진짜 님이 하루 죙일 겜방에 갇혀서 있... 굳굳 2015
  4. 대박 이걸 어떻게 찾으셨어요? 덕분에 ... 34524 2015
  5. 와 이건 진짜 신의한수 였네요~ 감사합... interlude 2015

Recent Trackbacks

Bookmarks

  1. ATOMOS
  2. c3cc3's Homepage
  3. 봄실
  4. 우중산보... 그 싱그러운 여유

1249

1011

google chart api graph

-30 days

today : 1020

Site Stats

TOTAL 785801 HIT
TODAY 1020 HIT
YESTERDAY 1030 HIT