论坛首页 海阔天空论坛

qihoobot 不按 robots.txt 游戏规则

浏览 2637 次
精华帖 (0) :: 良好帖 (0) :: 灌水帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2010-02-21  
业余时间搞个小网站学习学习。现有很多无聊的IP请求,有的带登录 post 过数据来。有的在扫 wwwroot.rar 文件。

还有不按 robots.txt 的爬虫。如 CollapsarWEB qihoobot@qihoo.net

为节省流量只有禁止。
   发表时间:2010-02-21  
很正常,qihoo的爬虫是很流氓的,直接封杀它。
0 请登录后投票
   发表时间:2010-03-31  
周大流氓投资的,全都是流氓软件
0 请登录后投票
   发表时间:2010-03-31  
系统程序 写道
周大流氓投资的,全都是流氓软件

+1
0 请登录后投票
   发表时间:2010-03-31  
robbin 写道
很正常,qihoo的爬虫是很流氓的,直接封杀它。


X改不了吃X
0 请登录后投票
   发表时间:2010-04-07  
好鞋不踩臭X,踩了必定发臭
0 请登录后投票
论坛首页 海阔天空版

跳转论坛:
Global site tag (gtag.js) - Google Analytics