robots.txt的常见写法

robots.txt的常见写法

    禁止所有搜索引擎访问网站的任何部分：
    User-agent: *
    Disallow: /
    允许所有的robot访问
    User-agent: *
    Disallow:
    或者你也可以建一个空文件:robots.txt
    禁止所有搜索引擎访问网站的几个部分（如下例中的cgi-bin、tmp、private目录）
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /private/
    禁止某个搜索引擎的访问（下例中的BadBot）
    User-agent: BadBot
    Disallow: /
    只允许某个搜索引擎的访问（下例中的WebCrawler）
    User-agent: WebCrawler
    Disallow:
    下面是一些著名站点的robots.txt，你也可以参考他们的写法。
    http://www.google.com/robots.txt
    http://www.ibm.com/robots.txt
    http://www.sun.com/robots.txt
    http://www.baidu.com/robots.txt

常见搜索引擎Robots名字

    Baiduspider  http://www.baidu.com
    Googlebot  http://www.google.com
    Scooter  http://www.altavista.com
    ia_archiver  http://www.alexa.com
    Inktomi Slurp  http://www.yahoo.com
    FAST-WebCrawler http://www.alltheweb.com
    MSNbot   http://search.msn.com