20대.. 지금은 진행중이다~~~ ING... 거꾸로 생각해 보는건 어떨까?? GNI...

보코

NOTICE

CALENDAR

« 2012/01 »
일	월	화	수	목	금	토
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31

RECENT TRACKBACK

LINK

robots.txt??

검색 엔진 |2008/04/30 17:56

검색엔진 만들때 가장 듣게 되는 단어가 바로 robots.txt가 아닐까 싶다..

크롤러가 웹페이지를 검색할 때 그 검색의 기준(?)이 되는 것이 바로 robots.txt이다.

사람들은 자기의 페이지를 Google같은 검색툴에서 검색되어지길 희망한다. 그래야 사람들이 많이 접속하기 때문이랄까?? 검색엔진이 도래하면서 모든 웹이 검색엔진에 의해서 간접 접근이 돼었다는 것도 참으로 검색엔진의 힘이 아닐까 싶다.

이렇듯, 검색 엔진에 의해 크롤링 되는 자신의 사이트들을 가끔... 아니 자주... 다른 사람들에게 보이기 싫을 때가 있을 것이다.

이 때는 root 디렉토리에 저 robots.txt 파일을 깔아놓도록 하자.. 다른 이름은 안된다.. robots.txt이다. 다른 디렉토리도 안된다.. root 디렉토리이다.

robots.txt파일은

User-agent : * 이다.

여기서 모든 페이지를 허용하고 싶으면

Disallow :

추가하면 된다..

디렉토리나 특정 파일이 크롤링 돼기 싫다면 Disallow: 다음 부분에 추가하면 된다.

물론 여러개 할 수도 있다~