动态抓取网页，生成静态网页

package com.oop.test;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;

public class Test1 {
	private static String getStaticPage(String surl) {
		String htmlContent = "";
		try {
			java.io.InputStream inputStream;
			java.net.URL url = new java.net.URL(surl);
			java.net.HttpURLConnection connection = (java.net.HttpURLConnection) url
					.openConnection();
			connection.connect();
			inputStream = connection.getInputStream();
			byte[] bytes = new byte[1024 * 2000];
			int index = 0;
			int count = inputStream.read(bytes, index, 1024 * 2000);
			while (count != -1) {
				index += count;
				count = inputStream.read(bytes, index, 1);
			}
			htmlContent = new String(bytes, "UTF-8");
			connection.disconnect();
		} catch (Exception ex) {
			ex.printStackTrace();
		}
		return htmlContent.trim();
	}

	public static void main(String[] args) {
		try {
			String src = getStaticPage("http://www.google.com");
			File file = new File("d:\\aa.html");
			FileWriter resultFile = new FileWriter(file);
			PrintWriter myFile = new PrintWriter(resultFile);// 写文件
			myFile.println(src);
			resultFile.close();
			myFile.close();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}

什么也不说，我感觉最重要的是分享，只要是有用的东西就应该分享，也许对于一些水平高的人是没有的，但是对于一些水平一般的人还是能够学到一些东西的。很多的人都提出了很多的反对意见和程序的问题意见，可是你们就不能把你们理解是正确的东西分享出来分享一下。

评论

21 楼 ak121077313 2011-01-19  

这种毫无营养的东西
public static void downImage(String uri, String fileName) {
try {
URL url = new URL(uri);
File file = new File(fileName);
FileUtils.copyURLToFile(url, file);
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}

20 楼 dir_murong 2011-01-18  

类似于搜索引擎？ lz能不能加点 解释性的东西

19 楼 tengjavaee 2011-01-18  

题目写错了，明明只能抓取静态内容

18 楼 181054867 2011-01-18  

这篇文章被评为新手帖，没什么有价值的东西！

17 楼 hackang 2011-01-18  

这种文章还上首页，javaeye已经没落到不行了

16 楼 gbfd2012 2011-01-18  

程序有很多漏洞，，，建议这样的文章不该法。。

15 楼 ak121077313 2011-01-18  

幽灵线程 写道

不错，很多大网站的静态页都可以这样生成。收了。

我觉得你是来搞笑的

14 楼 wanghua1985 2011-01-18  

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。

13 楼 guoyunsky 2011-01-18  

mengke 写道

好像只能抓到html代码，别的如：图片等不能抓下来吧

图片、视频等都可以抓取下来。
这是最最基本的一个爬虫程序,能够获取网页内容并下载.
楼主的程序有以下问题:
1)抓取这个动作,本身没有什么动态不动态的.可能楼主要表达的意思是,动态传入URL,然后可以抓取这个URL的内容.
  而且生成静态页面似乎也不合理,你抓取下URL这个内容(都是二进制),没什么静态动态之说吧。
2)楼主这个程序去抓取下javaeye任何一个页面,可能获取到的是:您可能使用了网络爬虫抓取JavaEye网站页面！
3)楼主用byte[] bytes = new byte[1024 * 2000];去保存抓取的内容,近2M.放在内存里。正常情况下，一个页面的大小事8-250K的样子,这是个浪费。而且一旦你碰到视屏之类大于2M的URL,你这个程序估计得内存溢出.

12 楼 jiangjiubo 2011-01-18  

我也用过一次类似方法，是偷取一个动态页面上的部分内容。其实很简单的。

11 楼 幽灵线程 2011-01-18  

不错，很多大网站的静态页都可以这样生成。收了。

10 楼 bulktree 2011-01-18  

是一个IO的例子吗？

9 楼 mengke 2011-01-17  

好像只能抓到html代码，别的如：图片等不能抓下来吧

8 楼 qingsha 2011-01-17  

了解了如何使用HttpURLConnection。

7 楼 janrn 2011-01-17  

如果源网页不是UTF-8的,那你抓下来的中文不就乱码了么.不知道发到这里是何用意

6 楼 maleo 2011-01-17  

zjhlht 写道

请问，这个有什么用啊？？？

从来没有这方面的需求~~~什么情况下会用到？

有用到的，我们这里的网站需要每天将所有的内容抓取成静态内容的

5 楼 明天的昨天 2011-01-17  

2008shucheng 写道

count = inputStream.read(bytes, index, 1);

为什么 第3个参数 是1。。。 不懂

4 楼 jameswolf 2011-01-17  

最好能保存成 mht 才有用

3 楼 玲cc 2011-01-17  

这帖子。。有点那啥。。

2 楼 1000 2011-01-17  

zjhlht 写道

请问，这个有什么用啊？？？

从来没有这方面的需求~~~什么情况下会用到？

学习思想。·~~