`
jack
  • 浏览: 393153 次
  • 来自: 温州
社区版块
存档分类
最新评论

怀疑spider,网站管理员们帮忙找找.

阅读更多
手边的网站中,经常有几个ip来访问旧版本网站中已经不存在的网页.死不悔改.

很怀疑是哪家公司的spider,各位网站管理员,帮忙查下你们的日志,有没有同样的ip出现过.

日志中是这样的
2007-04-24 21:35:31 GET /a.aspx - 218.12.194.13 HTTP/1.1 Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.7.6) - 302 434
常见的ip有

218.12.194.13
218.12.194.17
218.12.194.41
218.12.194.18
218.12.194.42
218.12.194.32
218.12.194.28
都是一个网段里面的

谢谢.

分享到:
评论
3 楼 jack 2007-04-25  
我现在干脆把这些ip给封了.

如果是其他的bot,spider,还带个标记.上面提到的那几个ip,查了下,是沧州的. get纪录上也没有说自己是bot. 封了算了.
2 楼 叶子 2007-04-25  
google有个工具 webmasters,里面记录了最近的一些抓取错误,就包括404。我很想告诉google,那些页面早不存在了,不要去抓了,可惜无门啊(没找到地方告诉)。。。。


至于baidu啥的没这个工具,抓什么我都没办法直观看到---每天去分析iis日志?没这闲空。。。
1 楼 robbin 2007-04-25  
http://www.ip138.com/

相关推荐

    spider.py, spider.py.zip

    spider.py, spider.py 关于该爬虫( 爬虫有坑。初学时编写,仅供参考)程序运行示例:Spider.py -u url -d深度日志文件默认当前目录,名字:spider。log##主要参考:http://bbs.chinaunix.net

    jquery.spider.disk硬盘使用百分比进度条代码

    <script src="jquery.spider.disk.js"> <div id="disk-progress"></div> $(document).ready(function() { $('#disk-progress').spiderDisk({ interval: 5000 // 每5秒更新一次 }); }); ``` ### 6. ...

    GSA.Email.Spider.v3.35

    《GSA Email Spider v3.35:电子邮件爬虫的深度解析》 GSA Email Spider v3.35是一款高效且功能强大的电子邮件抓取工具,主要用于从互联网上搜集特定目标的电子邮件地址。这款软件以其精准的搜索算法和广泛的适用...

    spider.sav

    spider.sav

    颜值超高的数据采集工具_XHS-Spider.zip

    颜值超高的数据采集工具_XHS-Spider

    [海蜘蛛路由操作系统].[Hi-Spider.Router].3.2.7.Hi-Spider.iso

    [海蜘蛛路由操作系统].[Hi-Spider.Router].3.2.7.Hi-Spider.iso 使用老旧的PC重新利用!变废为宝!

    spider.zip

    IRNet 提供的原始spider数据集。 You could process the origin Spider Data by your own. Download and put train.json, dev.json and tables.json under ./data/ directory and follow the instruction on ./...

    Spider.pdf for java

    Spider.pdf for java

    Black_Spider_1.7.2.zip_Black Spider 1.7.2_Black_Spider_1.7.2_bla

    Black Spider 1.7.2可能包含了一系列的漏洞检测工具,这些工具能够自动扫描目标系统,找出已知的安全问题,并为用户提供详细的报告和建议。 "black_spider"和"spider"可能是该工具的别名或者核心模块,它们可能涉及...

    WIN98系统可运行的蜘蛛纸牌(spider.exe)

    《关于在Windows 98系统上运行Spider Solitaire(spider.exe)的探索与实践》 Windows 98,作为一款历史悠久的操作系统,承载了许多人的回忆。其中,一款深受用户喜爱的游戏——Spider Solitaire(蜘蛛纸牌),以其...

    [其他类别]WebSpider蓝蜘蛛网页抓取 v5.1_webspider.zip

    【标题】WebSpider蓝蜘蛛网页抓取 v5.1 是一款强大的网页抓取工具,它专为用户提供了高效、易用的网页数据抓取解决方案。该软件能够帮助用户自动化地从互联网上搜集所需的信息,例如文章内容、产品详情、用户评论等...

    matlab的数据挖掘工具箱spider 共6页.pdf

    找不到什么什么文件... 3? ?Weka3.4.10 ??使用weka版本低一些即可,高的不行,因为高版本的weka可能是用高版本的jvm支持的。 我使用的组合是 matlab7(R14)+jre1.4.2(matlab7自带的,不需要任何设置)+Weka3.4.10

    main_spider.py

    一个网易云音乐评论的爬虫demo。

    baike_spider.zip

    【标题】:“baike_spider.zip”是一个包含Python爬虫代码的压缩文件,主要用于从互联网上抓取百科类网站的数据。 【描述】:这个压缩包内的代码来源于CSDN博主“efine_dxq”的一篇文章,文章详细介绍了如何利用...

    Super.Email.Spider.v2.93 key

    Super Email Spider能够使用web快速可靠的建立电子邮件列表.v2.93 key

    weibo_spider_爬虫python_关键词爬虫_python_python爬虫_spider_源码.rar

    这个压缩包包含了一个名为"weibo_spider.py"的Python源代码文件,这意味着我们将分析这个具体的Python脚本来学习如何构建一个微博爬虫。 网络爬虫是自动化抓取互联网信息的一种程序,Python在爬虫领域非常流行,...

    music_spider.py

    一份代码,关于搜索音乐选择从,QQ音乐、网易音乐、酷我音乐、酷狗音乐、咪咕音乐下载,当然了并不是所有的音乐都能下载成功的!

    spider.rar_FYH_spider_爬虫

    在提供的压缩包"spider.rar"中,包含了一个名为"spider.py"的Python文件,这通常是一个简单的爬虫脚本。Python是编写爬虫的常用语言,因为其语法简洁且拥有丰富的库支持,如requests用于网络请求,BeautifulSoup或...

    SpiderMan.rar

    【标题】"SpiderMan.rar" 是一个压缩包文件,它包含了一个使用了HTTPClient和Jsoup库的爬虫小程序。这个程序可能是为了教学目的或启发创新思维而设计的。 【描述】提到,这个爬虫是基于"httpclient+jsoup"技术实现...

Global site tag (gtag.js) - Google Analytics