浏览 3343 次
|
锁定老帖子 主题：怀疑spider,网站管理员们帮忙找找.
精华帖 (0) :: 良好帖 (0) :: 灌水帖 (0) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2007-04-25
手边的网站中,经常有几个ip来访问旧版本网站中已经不存在的网页.死不悔改.
很怀疑是哪家公司的spider,各位网站管理员,帮忙查下你们的日志,有没有同样的ip出现过. 日志中是这样的 2007-04-24 21:35:31 GET /a.aspx - 218.12.194.13 HTTP/1.1 Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.7.6) - 302 434 常见的ip有 218.12.194.13 218.12.194.17 218.12.194.41 218.12.194.18 218.12.194.42 218.12.194.32 218.12.194.28 都是一个网段里面的 谢谢. 声明：ITeye文章版权属于作者，受法律保护。没有作者书面许可不得转载。
推荐链接
|
| 返回顶楼 | |
|
发表时间：2007-04-25
http://www.ip138.com/
|
| 返回顶楼 | |
|
发表时间：2007-04-25
google有个工具 webmasters，里面记录了最近的一些抓取错误，就包括404。我很想告诉google，那些页面早不存在了，不要去抓了，可惜无门啊（没找到地方告诉）。。。。
至于baidu啥的没这个工具，抓什么我都没办法直观看到---每天去分析iis日志?没这闲空。。。 |
| 返回顶楼 | |
|
发表时间：2007-04-25
我现在干脆把这些ip给封了.
如果是其他的bot,spider,还带个标记.上面提到的那几个ip,查了下,是沧州的. get纪录上也没有说自己是bot. 封了算了. |
| 返回顶楼 | |
