Baiduspider热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

禁止搜索引擎爬虫抓取网站方法小结

本文主要通过查找网上资料，简单总结一下禁止搜索引擎爬虫抓取网站的方法。一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。搜索引擎抓取自己的网站有它的好处，也存在许多常见问题： 1.网络堵塞丢包严重（上下行数据异常，排除DDOS攻击，服务器中毒。异常下载，数据更新） 2.服务器负载过高，CPU几乎跑满（针对相应的服务配置而定）； ...

爬虫禁止 Baiduspider Googlebot

ssx5210 评论(0) 有3173人浏览 2012-06-27 15:16

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

博客电子书下载排行

>>浏览更多下载