JE的内容不允许爬虫抓取？

iammonster

浏览: 1791623 次
性别:
来自: 北京

最近访客更多访客>>

yuanyuan7891

sagadan

JianCaesar

led19880901

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

JAVA

浏览器网络协议 IDEA Apache

今天想把自己的博客给抓取下来，结果发现JE的内容是不允许抓取的，会出现以下内容：

<body>
    <div style="padding:50px 0 0 300px">
      <h1>您的访问请求被拒绝</h1>
    </div>
    <div class="clearfix">
      <div class="left" style="padding-left:120px">
        <img src="/images/filenotfound.jpg" width="128" height="128" />
      </div>
      <div class="left" style="width:700px;padding:30px 0 0 30px">
        <p>您可能使用了网络爬虫抓取JavaEye网站页面！</p>
        <p>JavaEye网站不允许您使用网络爬虫对JavaEye进行恶意的网页抓取，请您立刻停止该抓取行为！</p>
        <p>如果您的网络爬虫不属于恶意抓取行为，希望JavaEye网站允许你进行网页抓取，请和JavaEye管理员联系，取得授权: webmaster AT javaeye DOT com</p>
        <p>如果您确实使用浏览器访问，但是被错误的识别为网络爬虫，请将您浏览器发送的“User Agent”信息告知我们，帮助我们解决错误: webmaster AT javaeye DOT com</p>
      </div>
    </div>
    <div style="padding:20px 0 0 500px">
      <a href="http://www.iteye.com"><img src='/images/logo_small.gif' border='0'></a>
    </div>
  </body>

错误提示里面有一句：

如果您确实使用浏览器访问，但是被错误的识别为网络爬虫，请将您浏览器发送的“User Agent”信息告知我们，帮助我们解决错误

呵呵，这句话有点玄机哦，结果还是被我抓下来了，哈哈哈。

2
顶

1
踩

分享到：

利用好HTTP协议设置WEB服务器，减轻服务器 ... | JAVA操作Excel参考

2009-05-21 10:57
浏览 3123
评论(8)
分类:Web前端
查看更多

8 楼 Jeremy__Pan 2014-10-19

怎么爬下来的。可以给个思路的吗？

7 楼 jacobcookie 2012-10-20

楼主这个怎么解决哈，求解，3Q.

6 楼 D04540214 2009-08-17

JE屏蔽的正常的蜘蛛，经过稍微变异的蜘蛛就无能为力了。上次发现一个网站很强悍把我们公司的IP都给屏蔽了，导致我们不能够抓取。

5 楼 iammonster 2009-05-21

javaclover 我不知道你是如何弄的，不知道它的技术是如何防止的，所以不敢确定能不能解决你的问题。
xwkp2008 说的对，设置HTTP请求头的信息就可以了
不想自己写协议的话，就用这个吧：apache的 commons-httpclient-3.1 ，我现在用的。

4 楼 xwkp2008 2009-05-21

需要模拟http header 信息把

3 楼 javaclover 2009-05-21

iammonster 写道

javaclover 写道&nbsp; 我在雅虎搜有的我的博客，显示的也是这个提示！！&nbsp; 呵呵我解决了哦，现在可以抓JE的

怎么让雅虎也收录我的博客啊；请教了

2 楼 iammonster 2009-05-21

javaclover 写道

  我在雅虎搜有的我的博客，显示的也是这个提示！！ 

呵呵我解决了哦，现在可以抓JE的

1 楼 javaclover 2009-05-21

我在雅虎搜有的我的博客，显示的也是这个提示！！

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论