Java技术体验,HTTP多线程下载,端口侦听和自启动服务

一个网友正好需要这个东西，我就把几个技术整合到了一起。包括三个部分，实现时也是逐个做到的

1. 多线程的文件下载，HTTP协议
2. 把这个功能做成一个HTTP的服务，侦听在某个端口上，方便非Java的系统使用
3. 把这个功能封装为一个Windows服务，在机器启动时可以自动启动

我们逐个看程序。

一、多线程下载

这个主要使用了HTTP协议里面的一个Range参数，他设置了你读取数据的其实位置和终止位置。 经常使用flashget的用户在查看连接的详细信息时，应该经常看到这个东西。比如

Range:bytes=100-2000

代表从100个字节的位置开始读取，到2000个字节的位置结束，应读取1900个字节。

程序首先拿到文件的长度，然后分配几个线程去分别读取各自的一段，使用了
RandomAccessFile
进行随机位置的读写。

下面是完整的下载的代码。

1. package net.java2000.tools;
3. import java.io.BufferedInputStream;
4. import java.io.File;
5. import java.io.IOException;
6. import java.io.RandomAccessFile;
7. import java.net.URL;
8. import java.net.URLConnection;
10. /**
11.  * HTTP的多线程下载工具。
12.  * 
13.  * @author 赵学庆 www.java2000.net
14.  */
15. public class HTTPDownloader extends Thread {
16.   // 要下载的页面
17.   private String page;
19.   // 保存的路径
20.   private String savePath;
22.   // 线程数
23.   private int threadNumber = 2;
25.   // 来源地址
26.   private String referer;
28.   // 最小的块尺寸。如果文件尺寸除以线程数小于这个，则会减少线程数。
29.   private int MIN_BLOCK = 10 * 1024;
31.   public static void main(String[] args) throws Exception {
32.     HTTPDownloader d = new HTTPDownloader("http://www.xxxx.net/xxxx.rar", "d://xxxx.rar", 10);
33.     d.down();
34.   }
36.   public void run() {
37.     try {
38.       down();
39.     } catch (Exception e) {
40.       e.printStackTrace();
41.     }
42.   }
44.   /**
45.    * 下载操作
46.    * 
47.    * @throws Exception
48.    */
49.   public void down() throws Exception {
50.     URL url = new URL(page); // 创建URL
51.     URLConnection con = url.openConnection(); // 建立连接
52.     int contentLen = con.getContentLength(); // 获得资源长度
53.     if (contentLen / MIN_BLOCK + 1 < threadNumber) {
54.       threadNumber = contentLen / MIN_BLOCK + 1; // 调整下载线程数
55.     }
56.     if (threadNumber > 10) {
57.       threadNumber = 10;
58.     }
59.     int begin = 0;
60.     int step = contentLen / threadNumber;
61.     int end = 0;
62.     for (int i = 0; i < threadNumber; i++) {
63.       end += step;
64.       if (end > contentLen) {
65.         end = contentLen;
66.       }
67.       new HTTPDownloaderThread(this, i, begin, end).start();
68.       begin = end;
69.     }
70.   }
72.   public HTTPDownloader() {
73.   }
75.   /**
76.    * 下载
77.    * 
78.    * @param page 被下载的页面
79.    * @param savePath 保存的路径
80.    */
81.   public HTTPDownloader(String page, String savePath) {
82.     this(page, savePath, 10);
83.   }
85.   /**
86.    * 下载
87.    * 
88.    * @param page 被下载的页面
89.    * @param savePath 保存的路径
90.    * @param threadNumber 线程数
91.    */
92.   public HTTPDownloader(String page, String savePath, int threadNumber) {
93.     this(page, page, savePath, 10);
94.   }
96.   /**
97.    * 下载
98.    * 
99.    * @param page 被下载的页面
100.    * @param savePath 保存的路径
101.    * @param threadNumber 线程数
102.    * @param referer 来源
103.    */
104.   public HTTPDownloader(String page, String referer, String savePath, int threadNumber) {
105.     this.page = page;
106.     this.savePath = savePath;
107.     this.threadNumber = threadNumber;
108.     this.referer = referer;
109.   }
111.   public String getPage() {
112.     return page;
113.   }
115.   public void setPage(String page) {
116.     this.page = page;
117.   }
119.   public String getSavePath() {
120.     return savePath;
121.   }
123.   public void setSavePath(String savePath) {
124.     this.savePath = savePath;
125.   }
127.   public int getThreadNumber() {
128.     return threadNumber;
129.   }
131.   public void setThreadNumber(int threadNumber) {
132.     this.threadNumber = threadNumber;
133.   }
135.   public String getReferer() {
136.     return referer;
137.   }
139.   public void setReferer(String referer) {
140.     this.referer = referer;
141.   }
142. }
144. /**
145.  * 下载线程
146.  * 
147.  * @author 赵学庆 www.java2000.net
148.  */
149. class HTTPDownloaderThread extends Thread {
150.   HTTPDownloader manager;
152.   int startPos;
154.   int endPos;
156.   int id;
158.   int curPos;
160.   int BUFFER_SIZE = 4096;
162.   int readByte = 0;
164.   HTTPDownloaderThread(HTTPDownloader manager, int id, int startPos, int endPos) {
165.     this.id = id;
166.     this.manager = manager;
167.     this.startPos = startPos;
168.     this.endPos = endPos;
169.   }
171.   public void run() {
172.     // System.out.println("线程" + id + "启动");
173.     // 创建一个buff
174.     BufferedInputStream bis = null;
175.     RandomAccessFile fos = null;
176.     // 缓冲区大小
177.     byte[] buf = new byte[BUFFER_SIZE];
178.     URLConnection con = null;
179.     try {
180.       File file = new File(manager.getSavePath());
181.       // 创建RandomAccessFile
182.       fos = new RandomAccessFile(file, "rw");
183.       // 从startPos开始
184.       fos.seek(startPos);
185.       // 创建连接,这里会为每个线程都创建一个连接
186.       URL url = new URL(manager.getPage());
187.       con = url.openConnection();
188.       con.setAllowUserInteraction(true);
189.       curPos = startPos;
190.       // 设置获取资源数据的范围,从startPos到endPos
191.       con.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
192.       // 盗链解决
193.       con.setRequestProperty("referer", manager.getReferer() == null ? manager.getPage() : manager.getReferer());
194.       con.setRequestProperty("userAgent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");
195.       // 下面一段向根据文件写入数据,curPos为当前写入的未知,这里会判断是否小于endPos,
196.       // 如果超过endPos就代表该线程已经执行完毕
197.       bis = new BufferedInputStream(con.getInputStream());
198.       while (curPos < endPos) {
199.         int len = bis.read(buf, 0, BUFFER_SIZE);
200.         if (len == -1) {
201.           break;
202.         }
203.         fos.write(buf, 0, len);
204.         curPos = curPos + len;
205.         if (curPos > endPos) {
206.           // 获取正确读取的字节数
207.           readByte += len - (curPos - endPos) + 1;
208.         } else {
209.           readByte += len;
210.         }
211.       }
212.       // System.out.println("线程" + id + "已经下载完毕:" + readByte);
213.       bis.close();
214.       fos.close();
215.     } catch (IOException ex) {
216.       ex.printStackTrace();
217.     }
218.   }
219. }

二、做成Http的服务，侦听某个端口
使用了JDK6的特性，大家自己看代码吧，并不复杂

1. package net.java2000.tools;
3. import java.io.IOException;
4. import java.io.OutputStream;
5. import java.net.InetSocketAddress;
6. import java.net.URLDecoder;
7. import java.util.regex.Matcher;
8. import java.util.regex.Pattern;
9. import com.sun.net.httpserver.HttpExchange;
10. import com.sun.net.httpserver.HttpHandler;
11. import com.sun.net.httpserver.HttpServer;
12. import com.sun.net.httpserver.spi.HttpServerProvider;
14. /**
15.  * 下载程序的服务版本。<br>
16.  * 可以供其它程序调用，而不是局限于java
17.  * 
18.  * @author 赵学庆 www.java2000.net
19.  */
20. public class HTTPDownloadService {
21.   /**
22.    * @param args
23.    * @throws IOException
24.    */
25.   public static void main(String[] args) throws IOException {
26.     HttpServerProvider httpServerProvider = HttpServerProvider.provider();
27.     int port = 60080;
28.     if (args.length > 0) {
29.       try {
30.         port = Integer.parseInt(args[0]);
31.       } catch (Exception ex) {}
32.     }
33.     // 绑定端口
34.     InetSocketAddress addr = new InetSocketAddress(port);
35.     HttpServer httpServer = httpServerProvider.createHttpServer(addr, 1);
36.     httpServer.createContext("/", new HTTPDownloaderServiceHandler());
37.     httpServer.setExecutor(null);
38.     httpServer.start();
39.     System.out.println("started");
40.   }
41. }
43. /**
44.  * 下载的服务器
45.  * 
46.  * @author 赵学庆 www.java2000.net
47.  */
48. class HTTPDownloaderServiceHandler implements HttpHandler {
49.   private static Pattern p = Pattern.compile("\\?page=(.*?)\\&rpage=(.*?)&savepath=(.*)$");
51.   public void handle(HttpExchange httpExchange) {
52.     try {
53.       Matcher m = p.matcher(httpExchange.getRequestURI().toString());
54.       String response = "OK";
55.       if (m.find()) {
56.         try {
57.           new HTTPDownloader(URLDecoder.decode(m.group(1), "GBK"), URLDecoder.decode(m.group(2), "GBK"), URLDecoder.decode(m.group(3), "GBK"), 10).start();
58.         } catch (Exception e) {
59.           response = "ERROR -1";
60.           e.printStackTrace();
61.         }
62.       } else {
63.         response = "ERROR 1";
64.       }
65.       httpExchange.sendResponseHeaders(200, response.getBytes().length);
66.       OutputStream out = httpExchange.getResponseBody();
67.       out.write(response.getBytes());
68.       out.close();
69.       httpExchange.close();
70.     } catch (Exception ex) {
71.       ex.printStackTrace();
72.     }
73.   }
74. }

这个程序可以单独运行的，通过
http://127.0.0.1:60080
访问，参数是固定顺序的，比如
http://127.0.0.1:60080?page=http://www.csdn.net&rpage=http://blog.csdn.net&savepath=d:/csdn.html

三个参数分别代表了
page = 被下载的页面
rpage = referer的页面，用来对付防盗链的系统
savepath = 下载后保存的文件




三、改造成Windows的服务

主要使用了这个技术，不是很复杂 http://www.java2000.net/p598


所需要的东西我已经全部提供，且提供了一个完整的zip包供下载学习和研究用。


下载地址和原文请看这里： http://www.java2000.net/p9398




总结：
  希望对web变成有兴趣的，应该多了解一下HTTP协议，对于提高你的认知层次，注意不是水平，而是层次是有极大的帮助的。
















<script type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script>