[] javaeye rss抓取

hsyzijvaa

浏览: 112742 次
性别:
来自: 成都

最近访客更多访客>>

Rigor

lee1473336489

smartbaby1984

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

java

java 工作

import java.io.bufferedinputstream;import java.net.malformedurlexception;import java.net.url;import java.net.urlconnection;import java.util.list;import org.junit.ignore;import org.junit.test;import org.xml.sax.inputsource;import com.sun.syndication.feed.wirefeed;import com.sun.syndication.feed.module.module;import com.sun.syndication.feed.rss.channel;import com.sun.syndication.feed.rss.item;import com.sun.syndication.feed.synd.syndentry;import com.sun.syndication.feed.synd.syndfeed;import com.sun.syndication.feed.synd.syndfeedimpl;import com.sun.syndication.io.syndfeedinput;import com.sun.syndication.io.wirefeedinput;import com.sun.syndication.io.xmlreader;//rss（简易资讯聚合）//rss也叫聚合rss是在线共享内容的一种简易方式（也叫聚合内容，really simple syndication）。public class simplerometest {        @ignore    @test     public void testfetchjavaeyeopml()  throws exception {        url javaeyeurl = new url("http://www.iteye.com/rss");        wirefeedinput feedinput = new wirefeedinput();        wirefeed feed = feedinput.build(new xmlreader(javaeyeurl));    }    @test    public void testfetchjavaeyenewsrss() throws exception {        url javaeyeurl = new url("http://www.iteye.com/rss/news/");                stringbuffer sb = new stringbuffer(1024*1024);        bufferedinputstream is = new java.io.bufferedinputstream(javaeyeurl.openconnection().getinputstream());        int ch = is.read();        while(ch != -1) {            sb.append((char)ch);            ch = is.read();        }        system.out.println(new string(sb.tostring().getbytes("iso-8859-1"), "utf-8"));                /**         * <!doctype html public "-//w3c//dtd html 4.01 transitional//en"<!doctype html public "-//w3c//dtd xhtml 1.0 transitional//en" "http://www.w3.org/tr/xhtml1/dtd/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-cn" dir="ltr">  <head>    <meta http-equiv="content-type" content="text/html; charset=utf-8" />    <meta name="keyword" content="javaeye,it,开发,交流,社区,java, ruby, ajax, agile" />    <title>您的访问请求被拒绝 - javaeye技术社区</title>    <style type="text/css">      .clearfix:after {        content: ".";        display: block;        height: 0;        clear: both;        visibility: hidden;      }      .clearfix {        display:block;      }      .left {        float: left;      }      h1 {font-size: 20px;color: #6293bb;}      p  {font-size: 14px;color: #6293bb;}    </style>  </head>  <body>    <div style="padding:50px 0 0 300px">      <h1>您的访问请求被拒绝</h1>    </div>    <div class="clearfix">      <div class="left" style="padding-left:120px">        <img src="/images/filenotfound.jpg" width="128" height="128" />      </div>      <div class="left" style="width:700px;padding:30px 0 0 30px">        <p>您可能使用了网络爬虫抓取javaeye网站页面！</p>        <p>javaeye网站不允许您使用网络爬虫对javaeye进行恶意的网页抓取，请您立刻停止该抓取行为！</p>        <p>如果您的网络爬虫不属于恶意抓取行为，希望javaeye网站允许你进行网页抓取，请和javaeye管理员联系，取得授权: webmaster<img src='/images/email.gif' alt="email" />support.iteye.com</p>        <p>如果您确实使用浏览器访问，但是被错误的识别为网络爬虫，请将您浏览器发送的“user agent”信息告知我们，帮助我们解决错误: webmaster<img src='/images/email.gif' alt="email" />support.iteye.com</p>      </div>    </div>    <div style="padding:20px 0 0 500px">      <a href="http://www.iteye.com"><img src='/images/logo_small.gif' border='0'></a>    </div>  </body></html>         */        //        syndfeedinput feedinput = new syndfeedinput(true);//        syndfeed feed = feedinput.build(new inputsource(javaeyeurl.openstream()));//        // rome中rss的可选标准   //        // rss_0.90, rss_0.91, rss_0.92, rss_0.93, rss_0.94, rss_1.0, rss_2.0, atom_0.3     //        list<syndentry> entries = feed.getentries();//        //        for(syndentry entry : entries) {//            system.out.println("title:" + entry.gettitle());//            system.out.println("desc:" + entry.getdescription());//            system.out.println("link:" + entry.getlink());//            system.out.println("date:" + entry.getpublisheddate());//            system.out.println("==================================");//            system.out.println("==================================");//            system.out.println("==================================");//        }            }            @test    public void testfetchjavaeyenewsrsswithhttpclient() throws exception {        url javaeyeurl = new url("http://www.iteye.com/rss/news/");        urlconnection conn = javaeyeurl.openconnection();        conn.setrequestproperty("user-agent", "mozilla/5.0 (windows; u; windows nt 5.1; zh-cn; rv:1.9.2.3) gecko/20100401 firefox/3.6.3");                syndfeedinput feedinput = new syndfeedinput(true);        syndfeed feed = feedinput.build(new inputsource(conn.getinputstream()));        // rome中rss的可选标准           // rss_0.90, rss_0.91, rss_0.92, rss_0.93, rss_0.94, rss_1.0, rss_2.0, atom_0.3             list<syndentry> entries = feed.getentries();                for(syndentry entry : entries) {            system.out.println("title:" + entry.gettitle());            system.out.println("desc:" + entry.getdescription().getvalue());            system.out.println("link:" + entry.getlink());            system.out.println("date:" + entry.getpublisheddate());            system.out.println("==================================");            system.out.println("==================================");            system.out.println("==================================");        }    }}

1
顶

3
踩

分享到：

线程池（知识点） | （）ant入门教程（2）

2011-10-26 14:27
浏览 1289
评论(2)
分类:编程语言
查看更多

2 楼沙舟狼客 2011-10-27

这太折磨人了，还有人要看吗？

1 楼 greatwqs 2011-10-26

代码都成这样了

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

[] javaeye rss抓取

评论

发表评论

相关推荐

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

[] javaeye rss抓取

评论

发表评论

相关推荐

HD2刷机的基础知识 HD2的radio、HSPL、ROM三种组合

Hadoop配置部分内容

[转载]JPA 批注参考(1)

JVM 内存结构（转）

JSP,PHP,Python,Ruby,Perl概要及各自特点

不要再浪费时间

&lt;&lt;让oracle跑的更快1&gt;&gt;读书笔记2

Groovy Sql使用Spring的事务管理

Crack JRebel 4.0，无需重启JVM，热部署解决方案

Linux tar压缩时排除某个目录或文件的参数

2011面试题目之猴子偷桃

Qt 4.7.4 完美动态编译发布动态调试，以及静态编译发布

C#信息采集工具实现

介绍一个ASP.NET开发工具Web Matrix

程序名称DreamIT（梦想IT）提供许多IT公司的面试和笔试试题

基于SVG的WebGIS的一个雏形

在Android中自定义IOS风格的按钮

HTML5网站

将字节流(byte[])转换成文件

在SUSE 11中安装Windows虚拟机

最近访客更多访客>>

<<让oracle跑的更快1>>读书笔记2