HttpClient Jsoup爬取天气预报

xudongcsharp

浏览: 480361 次
性别:
来自: 上海

最近访客更多访客>>

fbswz1111

chenmo80125

jelly25176

Cadelle

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

Java

httpclient4：http://hc.apache.org/

jsoup：http://www.open-open.com/jsoup

小程序的母的是爬取天气查询页面上海当天的天气。
爬取的目标页面是http://www.weather.com.cn/weather/101020100.shtml。
程序爬取的结果：
2012-12-06白天晴高温 9℃ 西北风 3-4级夜间晴低温 5℃ 南风 3-4级

public static String getHtml() {
		String html = "";
		DefaultHttpClient httpclient = new DefaultHttpClient();
		// 访问的目标站点，端口和协议
		HttpHost targetHost = new HttpHost("www.weather.com.cn", 80, "http");
		// 代理的设置
		HttpHost proxy = new HttpHost("web-proxy.***.com", 8080);
		httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY,
				proxy);
		// 目标地址
		HttpGet httpget = new HttpGet("/weather/101020100.shtml");
		try {
			// 执行
			HttpResponse response = httpclient.execute(targetHost, httpget);
			HttpEntity entity = response.getEntity();

			if (entity != null) {
				html = EntityUtils.toString(entity);
				// System.out.println(html);
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			httpclient.getConnectionManager().shutdown();
		}
		return html;
	}

@Test
	public void getWeather() throws IOException {
		/*
		 * // 直接从字符串中输入 HTML 文档 String html =
		 * "<html><head><title> 开源中国社区 </title></head>" +
		 * "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>"; Document doc =
		 * Jsoup.parse(html);
		 * 
		 * // 从 URL 直接加载 HTML 文档 Document doc =
		 * Jsoup.connect("http://www.oschina.net/").get(); String title =
		 * doc.title();
		 * 
		 * Document doc = Jsoup.connect("http://www.oschina.net/")
		 * .data("query", "Java") // 请求参数 .userAgent("I ’ m jsoup") // 设置
		 * User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //
		 * 设置连接超时时间 .post(); // 使用 POST 方法访问 URL
		 */
		// 从文件中加载 HTML 文档
		/*
		 * File input = new File("C:/test.html"); Document doc =
		 * Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
		 */
		/*
		 * Document doc = Jsoup.connect("http://athp.hp.com/portal/site/athp/")
		 * .get(); System.out.println("title:" + doc.title()); Elements els =
		 * doc.getElementsByTag("a"); System.out.println("\n\n\n" + els + "\n");
		 * for (Element e : els) { System.out.println(e.nodeName() + ":\t" +
		 * e.val()); }
		 */
		Document doc = Jsoup.parse(getHtml());
		Elements contents = doc.select("div.weatherYubaoBox");
		Elements trs = contents.get(0).getElementsByClass("yuBaoTable").get(0)
				.getElementsByTag("tr");

		StringBuilder sb=new StringBuilder();
		sb.append(new SimpleDateFormat("yyyy-MM-dd").format(new Date()));
		for (int i = 0; i < trs.size(); i++) {
			Element tr = trs.get(i);

			Elements tds = tr.getElementsByTag("td");
			for (int j = 0; j < tds.size(); j++) {
				Element td = tds.get(j);
				
				if(i == 0 && j == 0){
					continue;
				}
				if (i == 0 && j == 1) {
					sb.append(td.html()).append(" ");
					continue;
				}
				if (i == 1 && j == 0) {
					sb.append(td.html()).append(" ");
					continue;
				} 
				
				sb.append(td.getElementsByTag("a").get(0).text()).append(" ");
				
			}
		}
		System.out.println(sb);

	}

lib.rar (928.1 KB)
下载次数: 18

分享到：

HP 开发流程 | 面试要求挺全的没事常看看

2012-12-06 15:51
浏览 3132
评论(0)
分类:编程语言
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HttpClient Jsoup爬取天气预报

评论

发表评论

相关推荐

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HttpClient Jsoup爬取天气预报

评论

发表评论

相关推荐

常见eclipse环境编译问题小结

URLEncode

java日期格式小时制区别

opencsv

密码学-加密解密 加签验签

eclipse常用插件

互联网开发

Servlet Listener

数据库事务

java 堆与栈

String、StringBuilder、StringBuffer区别

数字证书

fish

系统代码基本规范

try catch return

PO/POJO/VO/BO/DAO/DTO

servlet

native2ascii

xStream 框架

Bat命令学习

最近访客更多访客>>

密码学-加密解密加签验签