用 Java 实现断点续传 (HTTP)

主要借助http响应头的Content-Range=bytes 2000070-106786027/106786028        
参数，和请求头的RANGE: bytes=2000070-       



当然也可以不借助这些字段，可以自己实现，比如不按字节，可以按行，按块，等等， 当然这样，服务器端和客户端都需要编码了。





断点续传的原理

其实断点续传的原理很简单，就是在 Http 的请求上和一般的下载有所不同而已。       
打个比方，浏览器请求服务器上的一个文时，所发出的请求如下：       
假设服务器域名为 wwww.sjtu.edu.cn，文件名为 down.zip。

GET /down.zip HTTP/1.1         
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-         
excel, application/msword, application/vnd.ms-powerpoint, */*         
Accept-Language: zh-cn         
Accept-Encoding: gzip, deflate         
User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)         
Connection: Keep-Alive 

   

服务器收到请求后，按要求寻找请求的文件，提取文件的信息，然后返回给浏览器，返回信息如下：

200         
Content-Length=106786028         
Accept-Ranges=bytes         
Date=Mon, 30 Apr 2001 12:56:11 GMT         
ETag=W/"02ca57e173c11:95b"        
Content-Type=application/octet-stream         
Server=Microsoft-IIS/5.0         
Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT 

   

所谓断点续传，也就是要从文件已经下载的地方开始继续下载。所以在客户端浏览器传给 Web 服务器的时候要多加一条信息 -- 从哪里开始。       
下面是用自己编的一个"浏览器"来传递请求信息给 Web 服务器，要求从 2000070 字节开始。       

GET /down.zip HTTP/1.0         
User-Agent: NetFox         
RANGE: bytes=2000070-         
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2 

   

仔细看一下就会发现多了一行 RANGE: bytes=2000070-        
这一行的意思就是告诉服务器 down.zip 这个文件从 2000070 字节开始传，前面的字节不用传了。       
服务器收到这个请求以后，返回的信息如下：       

206         
Content-Length=106786028         
Content-Range=bytes 2000070-106786027/106786028         
Date=Mon, 30 Apr 2001 12:55:20 GMT         
ETag=W/"02ca57e173c11:95b"        
Content-Type=application/octet-stream         
Server=Microsoft-IIS/5.0         
Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT

    

和前面服务器返回的信息比较一下，就会发现增加了一行：       
Content-Range=bytes 2000070-106786027/106786028        
返回的代码也改为 206 了，而不再是 200 了。   

知道了以上原理，就可以进行断点续传的编程了。

回页首

Java 实现断点续传的关键几点

(1) 用什么方法实现提交 RANGE: bytes=2000070-。         
当然用最原始的 Socket 是肯定能完成的，不过那样太费事了，其实 Java 的 net 包中提供了这种功能。代码如下：         

URL url = new URL("http://www.sjtu.edu.cn/down.zip");           
HttpURLConnection httpConnection =  (HttpURLConnection)url.openConnection();           

// 设置 User-Agent           
httpConnection.setRequestProperty("User-Agent","NetFox");           
// 设置断点续传的开始位置          
httpConnection.setRequestProperty("RANGE","bytes=2000070");           
// 获得输入流          
InputStream input = httpConnection.getInputStream();           

从输入流中取出的字节流就是 down.zip 文件从 2000070 开始的字节流。 大家看，其实断点续传用 Java 实现起来还是很简单的吧。 接下来要做的事就是怎么保存获得的流到文件中去了。

保存文件采用的方法。         
我采用的是 IO 包中的 RandAccessFile 类。         
操作相当简单，假设从 2000070 处开始保存文件，代码如下：         

RandomAccess oSavedFile = new  RandomAccessFile("down.zip","rw");           
long nPos = 2000070;           
// 定位文件指针到 nPos 位置          
oSavedFile.seek(nPos);           
byte[] b = new byte[1024];           
int nRead;           
// 从输入流中读入字节流，然后写到文件中          
while((nRead=input.read(b,0,1024)) > 0)           
{           
oSavedFile.write(b,0,nRead);           
}          

怎么样，也很简单吧。 接下来要做的就是整合成一个完整的程序了。包括一系列的线程控制等等。

回页首

断点续传内核的实现

主要用了 6 个类，包括一个测试类。       
SiteFileFetch.java 负责整个文件的抓取，控制内部线程 (FileSplitterFetch 类 )。       
FileSplitterFetch.java 负责部分文件的抓取。       
FileAccess.java 负责文件的存储。       
SiteInfoBean.java 要抓取的文件的信息，如文件保存的目录，名字，抓取文件的 URL 等。       
Utility.java 工具类，放一些简单的方法。       
TestMethod.java 测试类。       

下面是源程序：

/* 
 /*
 * SiteFileFetch.java 
 */ 
 package NetFox; 
 import java.io.*; 
 import java.net.*; 
 public class SiteFileFetch extends Thread { 
 SiteInfoBean siteInfoBean = null; // 文件信息 Bean 
 long[] nStartPos; // 开始位置
 long[] nEndPos; // 结束位置
 FileSplitterFetch[] fileSplitterFetch; // 子线程对象
 long nFileLength; // 文件长度
 boolean bFirst = true; // 是否第一次取文件
 boolean bStop = false; // 停止标志
 File tmpFile; // 文件下载的临时信息
 DataOutputStream output; // 输出到文件的输出流
 public SiteFileFetch(SiteInfoBean bean) throws IOException 
 { 
 siteInfoBean = bean; 
 //tmpFile = File.createTempFile ("zhong","1111",new File(bean.getSFilePath())); 
 tmpFile = new File(bean.getSFilePath()+File.separator + bean.getSFileName()+".info");
 if(tmpFile.exists ()) 
 { 
 bFirst = false; 
 read_nPos(); 
 } 
 else 
 { 
 nStartPos = new long[bean.getNSplitter()]; 
 nEndPos = new long[bean.getNSplitter()]; 
 } 
 } 
 public void run() 
 { 
 // 获得文件长度
 // 分割文件
 // 实例 FileSplitterFetch 
 // 启动 FileSplitterFetch 线程
 // 等待子线程返回
 try{ 
 if(bFirst) 
 { 
 nFileLength = getFileSize(); 
 if(nFileLength == -1) 
 { 
 System.err.println("File Length is not known!"); 
 } 
 else if(nFileLength == -2) 
 { 
 System.err.println("File is not access!"); 
 } 
 else 
 { 
 for(int i=0;i<nStartPos.length;i++) 
 { 
 nStartPos[i] = (long)(i*(nFileLength/nStartPos.length)); 
 } 
 for(int i=0;i<nEndPos.length-1;i++) 
 { 
 nEndPos[i] = nStartPos[i+1]; 
 } 
 nEndPos[nEndPos.length-1] = nFileLength; 
 } 
 } 
 // 启动子线程
 fileSplitterFetch = new FileSplitterFetch[nStartPos.length]; 
 for(int i=0;i<nStartPos.length;i++) 
 { 
 fileSplitterFetch[i] = new FileSplitterFetch(siteInfoBean.getSSiteURL(), 
 siteInfoBean.getSFilePath() + File.separator + siteInfoBean.getSFileName(), 
 nStartPos[i],nEndPos[i],i); 
 Utility.log("Thread " + i + " , nStartPos = " + nStartPos[i] + ", nEndPos = " 
 + nEndPos[i]); 
 fileSplitterFetch[i].start(); 
 } 
 // fileSplitterFetch[nPos.length-1] = new FileSplitterFetch(siteInfoBean.getSSiteURL(),
 siteInfoBean.getSFilePath() + File.separator 
 + siteInfoBean.getSFileName(),nPos[nPos.length-1],nFileLength,nPos.length-1); 
 // Utility.log("Thread " +(nPos.length-1) + ",nStartPos = "+nPos[nPos.length-1]+",
 nEndPos = " + nFileLength); 
 // fileSplitterFetch[nPos.length-1].start(); 
 // 等待子线程结束
 //int count = 0; 
 // 是否结束 while 循环
 boolean breakWhile = false; 
 while(!bStop) 
 { 
 write_nPos(); 
 Utility.sleep(500); 
 breakWhile = true; 
 for(int i=0;i<nStartPos.length;i++) 
 { 
 if(!fileSplitterFetch[i].bDownOver) 
 { 
 breakWhile = false; 
 break; 
 } 
 } 
 if(breakWhile) 
 break; 
 //count++; 
 //if(count>4) 
 // siteStop(); 
 } 
 System.err.println("文件下载结束！"); 
 } 
 catch(Exception e){e.printStackTrace ();} 
 } 
 // 获得文件长度
 public long getFileSize() 
 { 
 int nFileLength = -1; 
 try{ 
 URL url = new URL(siteInfoBean.getSSiteURL()); 
 HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection ();
 httpConnection.setRequestProperty("User-Agent","NetFox"); 
 int responseCode=httpConnection.getResponseCode(); 
 if(responseCode>=400) 
 { 
 processErrorCode(responseCode); 
 return -2; //-2 represent access is error 
 } 
 String sHeader; 
 for(int i=1;;i++) 
 { 
 //DataInputStream in = new DataInputStream(httpConnection.getInputStream ()); 
 //Utility.log(in.readLine()); 
 sHeader=httpConnection.getHeaderFieldKey(i); 
 if(sHeader!=null) 
 { 
 if(sHeader.equals("Content-Length")) 
 { 
 nFileLength = Integer.parseInt(httpConnection.getHeaderField(sHeader)); 
 break; 
 } 
 } 
 else 
 break; 
 } 
 } 
 catch(IOException e){e.printStackTrace ();} 
 catch(Exception e){e.printStackTrace ();} 
 Utility.log(nFileLength); 
 return nFileLength; 
 } 
 // 保存下载信息（文件指针位置）
 private void write_nPos() 
 { 
 try{ 
 output = new DataOutputStream(new FileOutputStream(tmpFile)); 
 output.writeInt(nStartPos.length); 
 for(int i=0;i<nStartPos.length;i++) 
 { 
 // output.writeLong(nPos[i]); 
 output.writeLong(fileSplitterFetch[i].nStartPos); 
 output.writeLong(fileSplitterFetch[i].nEndPos); 
 } 
 output.close(); 
 } 
 catch(IOException e){e.printStackTrace ();} 
 catch(Exception e){e.printStackTrace ();} 
 } 
 // 读取保存的下载信息（文件指针位置）
 private void read_nPos() 
 { 
 try{ 
 DataInputStream input = new DataInputStream(new FileInputStream(tmpFile)); 
 int nCount = input.readInt(); 
 nStartPos = new long[nCount]; 
 nEndPos = new long[nCount]; 
 for(int i=0;i<nStartPos.length;i++) 
 { 
 nStartPos[i] = input.readLong(); 
 nEndPos[i] = input.readLong(); 
 } 
 input.close(); 
 } 
 catch(IOException e){e.printStackTrace ();} 
 catch(Exception e){e.printStackTrace ();} 
 } 
 private void processErrorCode(int nErrorCode) 
 { 
 System.err.println("Error Code : " + nErrorCode); 
 } 
 // 停止文件下载
 public void siteStop() 
 { 
 bStop = true; 
 for(int i=0;i<nStartPos.length;i++) 
 fileSplitterFetch[i].splitterStop(); 
 } 
 } 

/* 
 **FileSplitterFetch.java 
 */ 
 package NetFox; 
 import java.io.*; 
 import java.net.*; 
 public class FileSplitterFetch extends Thread { 
 String sURL; //File URL 
 long nStartPos; //File Snippet Start Position 
 long nEndPos; //File Snippet End Position 
 int nThreadID; //Thread's ID 
 boolean bDownOver = false; //Downing is over 
 boolean bStop = false; //Stop identical 
 FileAccessI fileAccessI = null; //File Access interface 
 public FileSplitterFetch(String sURL,String sName,long nStart,long nEnd,int id)
 throws IOException 
 { 
 this.sURL = sURL; 
 this.nStartPos = nStart; 
 this.nEndPos = nEnd; 
 nThreadID = id; 
 fileAccessI = new FileAccessI(sName,nStartPos); 
 } 
 public void run() 
 { 
 while(nStartPos < nEndPos && !bStop) 
 { 
 try{ 
 URL url = new URL(sURL); 
 HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection (); 
 httpConnection.setRequestProperty("User-Agent","NetFox"); 
 String sProperty = "bytes="+nStartPos+"-"; 
 httpConnection.setRequestProperty("RANGE",sProperty); 
 Utility.log(sProperty); 
 InputStream input = httpConnection.getInputStream(); 
 //logResponseHead(httpConnection); 
 byte[] b = new byte[1024]; 
 int nRead; 
 while((nRead=input.read(b,0,1024)) > 0 && nStartPos < nEndPos 
 && !bStop) 
 { 
 nStartPos += fileAccessI.write(b,0,nRead); 
 //if(nThreadID == 1) 
 // Utility.log("nStartPos = " + nStartPos + ", nEndPos = " + nEndPos); 
 } 
 Utility.log("Thread " + nThreadID + " is over!"); 
 bDownOver = true; 
 //nPos = fileAccessI.write (b,0,nRead); 
 } 
 catch(Exception e){e.printStackTrace ();} 
 } 
 } 
 // 打印回应的头信息
 public void logResponseHead(HttpURLConnection con) 
 { 
 for(int i=1;;i++) 
 { 
 String header=con.getHeaderFieldKey(i); 
 if(header!=null) 
 //responseHeaders.put(header,httpConnection.getHeaderField(header)); 
 Utility.log(header+" : "+con.getHeaderField(header)); 
 else 
 break; 
 } 
 } 
 public void splitterStop() 
 { 
 bStop = true; 
 } 
 } 
 
 /* 
 **FileAccess.java 
 */ 
 package NetFox; 
 import java.io.*; 
 public class FileAccessI implements Serializable{ 
 RandomAccessFile oSavedFile; 
 long nPos; 
 public FileAccessI() throws IOException 
 { 
 this("",0); 
 } 
 public FileAccessI(String sName,long nPos) throws IOException 
 { 
 oSavedFile = new RandomAccessFile(sName,"rw"); 
 this.nPos = nPos; 
 oSavedFile.seek(nPos); 
 } 
 public synchronized int write(byte[] b,int nStart,int nLen) 
 { 
 int n = -1; 
 try{ 
 oSavedFile.write(b,nStart,nLen); 
 n = nLen; 
 } 
 catch(IOException e) 
 { 
 e.printStackTrace (); 
 } 
 return n; 
 } 
 } 

 /* 
 **SiteInfoBean.java 
 */ 
 package NetFox; 
 public class SiteInfoBean { 
 private String sSiteURL; //Site's URL 
 private String sFilePath; //Saved File's Path 
 private String sFileName; //Saved File's Name 
 private int nSplitter; //Count of Splited Downloading File 
 public SiteInfoBean() 
 { 
 //default value of nSplitter is 5 
 this("","","",5); 
 } 
 public SiteInfoBean(String sURL,String sPath,String sName,int nSpiltter)
 { 
 sSiteURL= sURL; 
 sFilePath = sPath; 
 sFileName = sName; 
 this.nSplitter = nSpiltter; 
 } 
 public String getSSiteURL() 
 { 
 return sSiteURL; 
 } 
 public void setSSiteURL(String value) 
 { 
 sSiteURL = value; 
 } 
 public String getSFilePath() 
 { 
 return sFilePath; 
 } 
 public void setSFilePath(String value) 
 { 
 sFilePath = value; 
 } 
 public String getSFileName() 
 { 
 return sFileName; 
 } 
 public void setSFileName(String value) 
 { 
 sFileName = value; 
 } 
 public int getNSplitter() 
 { 
 return nSplitter; 
 } 
 public void setNSplitter(int nCount) 
 { 
 nSplitter = nCount; 
 } 
 } 

/* 
 **Utility.java 
 */ 
 package NetFox; 
 public class Utility { 
 public Utility() 
 { 
 } 
 public static void sleep(int nSecond) 
 { 
 try{ 
 Thread.sleep(nSecond); 
 } 
 catch(Exception e) 
 { 
 e.printStackTrace (); 
 } 
 } 
 public static void log(String sMsg) 
 { 
 System.err.println(sMsg); 
 } 
 public static void log(int sMsg) 
 { 
 System.err.println(sMsg); 
 } 
 } 

/* 
 **TestMethod.java 
 */ 
 package NetFox; 
 public class TestMethod { 
 public TestMethod() 
 { ///xx/weblogic60b2_win.exe 
 try{ 
 SiteInfoBean bean = new SiteInfoBean("http://localhost/xx/weblogic60b2_win.exe",
     "L:\\temp","weblogic60b2_win.exe",5); 
 //SiteInfoBean bean = new SiteInfoBean("http://localhost:8080/down.zip","L:\\temp",
     "weblogic60b2_win.exe",5); 
 SiteFileFetch fileFetch = new SiteFileFetch(bean); 
 fileFetch.start(); 
 } 
 catch(Exception e){e.printStackTrace ();} 
 } 
 public static void main(String[] args) 
 { 
 new TestMethod(); 
 } 
 }
 

多线程断点续传实践



以下转：http://www.iteye.com/topic/427397

annegu做了一个简单的Http多线程的下载程序，来讨论一下多线程并发下载以及断点续传的问题。
这个程序的功能，就是可以分多个线程从目标地址上下载数据，每个线程负责下载一部分，并可以支持断点续传和超时重连。

下载的方法是download()，它接收两个参数，分别是要下载的页面的url和编码方式。在这个负责下载的方法中，主要分了三个步骤。第一步是用来设置断点续传时候的一些信息的，第二步就是主要的分多线程来下载了，最后是数据的合并。

1、多线程下载：

    public String download(String urlStr, String charset) {  
        this.charset = charset;  
        long contentLength = 0;  
       CountDownLatch latch = new CountDownLatch(threadNum);  
        long[] startPos = new long[threadNum];  
        long endPos = 0;  
  
        try {  
            // 从url中获得下载的文件格式与名字  
            this.fileName = urlStr.substring(urlStr.lastIndexOf("/") + 1, urlStr.lastIndexOf("?")>0 ? urlStr.lastIndexOf("?") : urlStr.length());  
            if("".equalsIgnoreCase(this.fileName)){  
                this.fileName = UUID.randomUUID().toString();  
            }  
  
            this.url = new URL(urlStr);  
            URLConnection con = url.openConnection();  
            setHeader(con);  
            // 得到content的长度  
            contentLength = con.getContentLength();  
            // 把context分为threadNum段的话，每段的长度。  
            this.threadLength = contentLength / threadNum;  
              
            // 第一步，分析已下载的临时文件，设置断点，如果是新的下载任务，则建立目标文件。在第4点中说明。  
            startPos = setThreadBreakpoint(fileDir, fileName, contentLength, startPos);  
  
            //第二步，分多个线程下载文件  
            ExecutorService exec = Executors.newCachedThreadPool();  
            for (int i = 0; i < threadNum; i++) {  
                // 创建子线程来负责下载数据，每段数据的起始位置为(threadLength * i + 已下载长度)  
                startPos[i] += threadLength * i;  
  
                /*设置子线程的终止位置，非最后一个线程即为(threadLength * (i + 1) - 1) 
                最后一个线程的终止位置即为下载内容的长度*/  
                if (i == threadNum - 1) {  
                    endPos = contentLength;  
                } else {  
                    endPos = threadLength * (i + 1) - 1;  
                }  
                // 开启子线程，并执行。  
                ChildThread thread = new ChildThread(this, latch, i, startPos[i], endPos);  
                childThreads[i] = thread;  
                exec.execute(thread);  
            }  
  
            try {  
                // 等待CountdownLatch信号为0，表示所有子线程都结束。  
               latch.await();  
                exec.shutdown();  
  
                // 第三步，把分段下载下来的临时文件中的内容写入目标文件中。在第3点中说明。  
                tempFileToTargetFile(childThreads);  
  
            } catch (InterruptedException e) {  
                e.printStackTrace();  
            }  
    } 

首先来看最主要的步骤：多线程下载。
首先从url中提取目标文件的名称，并在对应的目录创建文件。然后取得要下载的文件大小，根据分成的下载线程数量平均分配每个线程需要下载的数据量，就是threadLength。然后就可以分多个线程来进行下载任务了。

在这个例子中，并没有直接显示的创建Thread对象，而是用Executor来管理Thread对象，并且用CachedThreadPool来创建的线程池，当然也可以用FixedThreadPool。CachedThreadPool在程序执行的过程中会创建与所需数量相同的线程，当程序回收旧线程的时候就停止创建新线程。FixedThreadPool可以预先新建参数给定个数的线程，这样就不用在创建任务的时候再来创建线程了，可以直接从线程池中取出已准备好的线程。下载线程的数量是通过一个全局变量threadNum来控制的，默认为5。

好了，这5个子线程已经通过Executor来创建了，下面它们就会各自为政，互不干涉的执行了。线程有两种实现方式：实现Runnable接口；继承Thread类。

ChildThread就是子线程，它作为DownloadTask的内部类，继承了Thread，它的构造方法需要5个参数，依次是一个对DownloadTask的引用，一个CountDownLatch，id（标识线程的id号），startPosition（下载内容的开始位置），endPosition（下载内容的结束位置）。
这个CountDownLatch是做什么用的呢？

现在我们整理一下思路，要实现分多个线程来下载数据的话，我们肯定还要把这多个线程下载下来的数据进行合。主线程必须等待所有的子线程都执行结束之后，才能把所有子线程的下载数据按照各自的id顺序进行合并。CountDownLatch就是来做这个工作的。
CountDownLatch用来同步主线程，强制主线程等待所有的子线程执行的下载操作完成。在主线程中，CountDownLatch对象被设置了一个初始计数器，就是子线程的个数5个，代码①处。在新建了5个子线程并开始执行之后，主线程用CountDownLatch的await()方法来阻塞主线程，直到这个计数器的值到达0，才会进行下面的操作，代码②处。
对每个子线程来说，在执行完下载指定区间与长度的数据之后，必须通过调用CountDownLatch的countDown()方法来把这个计数器减1。

2、在全面开启下载任务之后，主线程就开始阻塞，等待子线程执行完毕，所以下面我们来看一下具体的下载线程ChildThread。

public class ChildThread extends Thread {  
    public static final int STATUS_HASNOT_FINISHED = 0;  
    public static final int STATUS_HAS_FINISHED = 1;  
   public static final int STATUS_HTTPSTATUS_ERROR = 2;  
    private DownloadTask task;  
    private int id;  
    private long startPosition;  
    private long endPosition;  
    private final CountDownLatch latch;  
    // private RandomAccessFile tempFile = null;  
    private File tempFile = null;  
    //线程状态码  
    private int status = ChildThread.STATUS_HASNOT_FINISHED;  
  
    public ChildThread(DownloadTask task, CountDownLatch latch, int id, long startPos, long endPos) {  
       super();  
        this.task = task;  
        this.id = id;  
        this.startPosition = startPos;  
        this.endPosition = endPos;  
        this.latch = latch;  
  
       try {  
            tempFile = new File(this.task.fileDir + this.task.fileName + "_" + id);  
            if(!tempFile.exists()){  
                tempFile.createNewFile();  
            }  
        } catch (IOException e) {  
            e.printStackTrace();  
        }  
  
    }  
  
    public void run() {  
       System.out.println("Thread " + id + " run ...");  
        HttpURLConnection con = null;  
        InputStream inputStream = null;  
        BufferedOutputStream outputStream = null;  
        long count = 0;   
        long threadDownloadLength = endPosition - startPosition;  
  
        try {  
            outputStream = new BufferedOutputStream(new FileOutputStream(tempFile.getPath(), true));  
        } catch (FileNotFoundException e2) {  
            e2.printStackTrace();  
        }  
          
       for(int k = 0; k < 10; k++){  
            if(k > 0)  
            System.out.println("Now thread " + id + "is reconnect, start position is " + startPosition);  
            try {  
                //打开URLConnection  
                con = (HttpURLConnection) task.url.openConnection();  
                setHeader(con);  
                con.setAllowUserInteraction(true);  
                //设置连接超时时间为10000ms  
               con.setConnectTimeout(10000);  
                //设置读取数据超时时间为10000ms  
                con.setReadTimeout(10000);  
                  
                if(startPosition < endPosition){  
                    //设置下载数据的起止区间  
                    con.setRequestProperty("Range", "bytes=" + startPosition + "-"  
                            + endPosition);  
                    System.out.println("Thread " + id + " startPosition is " + startPosition);  
                    System.out.println("Thread " + id + " endPosition is " + endPosition);  
  
                    //判断http status是否为HTTP/1.1 206 Partial Content或者200 OK  
                    //如果不是以上两种状态，把status改为STATUS_HTTPSTATUS_ERROR  
                   if (con.getResponseCode() != HttpURLConnection.HTTP_OK  
                            && con.getResponseCode() != HttpURLConnection.HTTP_PARTIAL) {  
                        System.out.println("Thread " + id + ": code = "  
                                + con.getResponseCode() + ", status = "  
                                + con.getResponseMessage());  
                        status = ChildThread.STATUS_HTTPSTATUS_ERROR;  
                        this.task.statusError = true;  
                        outputStream.close();  
                        con.disconnect();  
                        System.out.println("Thread " + id + " finished.");  
                        latch.countDown();  
                        break;  
                    }  
  
                    inputStream = con.getInputStream();  
  
                    int len = 0;  
                    byte[] b = new byte[1024];  
                    while ((len = inputStream.read(b)) != -1) {  
                        outputStream.write(b, 0, len);  
                        count += len;   
                       startPosition += len;                             
                        //每读满4096个byte（一个内存页），往磁盘上flush一下  
                        if(count % 4096 == 0){  
                           outputStream.flush();  
                        }  
                    }  
  
                    System.out.println("count is " + count);   
                    if (count >= threadDownloadLength) {  
                        status = ChildThread.STATUS_HAS_FINISHED;  
                    }  
                   outputStream.flush();  
                    outputStream.close();  
                    inputStream.close();  
                    con.disconnect();  
                } else {  
                    status = ChildThread.STATUS_HAS_FINISHED;  
                }  
  
                System.out.println("Thread " + id + " finished.");  
                latch.countDown();  
                break;  
            } catch (IOException e) {  
                try {  
                   outputStream.flush();  
                   TimeUnit.SECONDS.sleep(getSleepSeconds());  
                } catch (InterruptedException e1) {  
                    e1.printStackTrace();  
                } catch (IOException e2) {  
                    e2.printStackTrace();  
                }  
                continue;  
            }                 
        }  
    }  
} 

在ChildThread的构造方法中，除了设置一些从主线程中带来的id, 起始位置之外，就是新建了一个临时文件用来存放当前线程的下载数据。临时文件的命名规则是这样的：下载的目标文件名+”_”+线程编号。

现在让我们来看看从网络中读数据是怎么读的。我们通过URLConnection来获得一个http的连接。有些网站为了安全起见，会对请求的http连接进行过滤，因此为了伪装这个http的连接请求，我们给httpHeader穿一件伪装服。下面的setHeader方法展示了一些非常常用的典型的httpHeader的伪装方法。比较重要的有：Uer-Agent模拟从Ubuntu的firefox浏览器发出的请求；Referer模拟浏览器请求的前一个触发页面，例如从skycn站点来下载软件的话，Referer设置成skycn的首页域名就可以了；Range就是这个连接获取的流文件的起始区间。

private void setHeader(URLConnection con) {  
   con.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092510 Ubuntu/8.04 (hardy) Firefox/3.0.3");  
   con.setRequestProperty("Accept-Language", "en-us,en;q=0.7,zh-cn;q=0.3");  
   con.setRequestProperty("Accept-Encoding", "aa");  
   con.setRequestProperty("Accept-Charset", "ISO-8859-1,utf-8;q=0.7,*;q=0.7");  
   con.setRequestProperty("Keep-Alive", "300");  
  con.setRequestProperty("Connection", "keep-alive");  
   con.setRequestProperty("If-Modified-Since", "Fri, 02 Jan 2009 17:00:05 GMT");  
   con.setRequestProperty("If-None-Match", "\"1261d8-4290-df64d224\"");  
    con.setRequestProperty("Cache-Control", "max-age=0");  
    con.setRequestProperty("Referer", "http://www.dianping.com");  
} 

另外，为了避免线程因为网络原因而阻塞，设置了ConnectTimeout和ReadTimeout，代码④处。setConnectTimeout设置的连接的超时时间，而setReadTimeout设置的是读取数据的超时时间，发生超时的话，就会抛出socketTimeout异常，两个方法的参数都是超时的毫秒数。

这里对超时的发生，采用的是等候一段时间重新连接的方法。整个获取网络连接并读取下载数据的过程都包含在一个循环之中（代码③处），如果发生了连接或者读取数据的超时，在抛出的异常里面就会sleep一定的时间（代码⑩处），然后continue，再次尝试获取连接并读取数据，这个时间可以通过setSleepSeconds()方法来设置。我们在迅雷等下载工具的使用中，经常可以看到状态栏会输出类似“连接超时，等待*秒后重试”的话，这个就是通过ConnectTimeout，ReadTimeout来实现的。

连接建立好之后，我们要检查一下返回响应的状态码。常见的Http Response Code有以下几种：
a) 200 OK 一切正常，对GET和POST请求的应答文档跟在后面。
b) 206 Partial Content 客户发送了一个带有Range头的GET请求，服务器完成。
c) 404 Not Found 无法找到指定位置的资源。这也是一个常用的应答。
d) 414 Request URI Too Long URI太长。
e) 416 Requested Range Not Satisfiable 服务器不能满足客户在请求中指定的Range头。
f) 500 Internal Server Error 服务器遇到了意料不到的情况，不能完成客户的请求。
g) 503 Service Unavailable 服务器由于维护或者负载过重未能应答。例如，Servlet可能在数据库连接池已满的情况下返回503。
在这些状态里面，只有200与206才是我们需要的正确的状态。所以在代码⑤处，进行了状态码的判断，如果返回不符合要求的状态码，则结束线程，返回主线程并提示报错。

假设一切正常，下面我们就要考虑从网络中读数据了。正如我之前在分析mysql的数据库驱动中看的一样，网络中发送数据都是以数据包的形式来发送的，也就是说不管是客户端向服务器发出的请求数据，还是从服务器返回给客户端的响应数据，都会被拆分成若干个小型数据包在网络中传递，等数据包到达了目的地，网络接口会依据数据包的编号来组装它们，成为完整的比特数据。因此，我们可以想到在这里也是一样的，我们用inputStream的read方法来通过网卡从网络中读取数据，并不一定一次就能把所有的数据包都读完，所以我们要不断的循环来从inputStream中读取数据。Read方法有一个int型的返回值，表示每次从inputStream中读取的字节数，如果把这个inputStream中的数据读完了，那么就返回-1。
Read方法最多可以有三个参数，byte b[]是读取数据之后存放的目标数组，off标识了目标数组中存储的开始位置，len是想要读取的数据长度，这个长度必定不能大于b[]的长度。
public synchronized int read(byte b[], int off, int len);

我们的目标是要把目标地址的内容下载下来，现在分了5个线程来分段下载，那么这些分段下载的数据保存在哪里呢？如果把它们都保存在内存中是非常糟糕的做法，如果文件相当之大，例如是一个视频的话，难道把这么大的数据都放在内存中吗，这样的话，万一连接中断，那前面下载的东西就都没有了？我们当然要想办法及时的把下载的数据刷到磁盘上保存下来。当用bt下载视频的时候，通常都会有个临时文件，当视频完全下载结束之后，这个临时文件就会被删除，那么下次继续下载的时候，就会接着上次下载的点继续下载。所以我们的outputStream就是往这个临时文件来输出了。
OutputStream的write方法和上面InputStream的read方法有类似的参数，byte b[]是输出数据的来源，off标识了开始位置，len是数据长度。
public synchronized void write(byte b[], int off, int len) throws IOException;
在往临时文件的outputStream中写数据的时候，我会加上一个计数器，每满4096个比特就往文件中flush一下（代码⑦处）。

对于输出流的flush，有些要注意的地方，在程序中有三个地方调用了outputStream.flush()。第一个是在循环的读取网络数据并往outputStream中写入的时候，每满4096个byte就flush一下（代码⑦处）；第二个是循环之后（代码⑧处），这时候正常的读取写入操作已经完成，但是outputStream中还有没有刷入磁盘的数据，所以要flush一下才能关闭连接；第三个就是在异常中的flush（代码⑨处），因为如果发生了连接超时或者读取数据超时的话，就会直接跑到catch的exception中去，这个时候outputStream中的数据如果不flush的话，重新连接的时候这部分数据就会丢失了。另外，当抛出异常，重新连接的时候，下载的起始位置也要重新设置，所以在代码⑥处，即每次从inputStream中读取数据之后，startPosition就要重新设置，count标识了已经下载的字节数。


3、现在每个分段的下载线程都顺利结束了，也都创建了相应的临时文件，接下来在主线程中会对临时文件进行合并，并写入目标文件，最后删除临时文件。这部分很简单，就是一个对所有下载线程进行遍历的过程。这里outputStream也有两次flush，与上面类似，不再赘述。

private void tempFileToTargetFile(ChildThread[] childThreads) {  
    try {  
        BufferedOutputStream outputStream = new BufferedOutputStream(  
                new FileOutputStream(fileDir + fileName));  
  
        // 遍历所有子线程创建的临时文件，按顺序把下载内容写入目标文件中  
        for (int i = 0; i < threadNum; i++) {  
            if (statusError) {  
                for (int k = 0; k < threadNum; k++) {  
                    if (childThreads[k].tempFile.length() == 0)  
                        childThreads[k].tempFile.delete();  
                }  
                System.out.println("本次下载任务不成功，请重新设置线程数。");  
                break;  
            }  
  
            BufferedInputStream inputStream = new BufferedInputStream(  
                    new FileInputStream(childThreads[i].tempFile));  
            System.out.println("Now is file " + childThreads[i].id);  
            int len = 0;  
            long count = 0;  
            byte[] b = new byte[1024];  
            while ((len = inputStream.read(b)) != -1) {  
                count += len;  
                outputStream.write(b, 0, len);  
                if ((count % 4096) == 0) {  
                    outputStream.flush();  
                }  
  
                // b = new byte[1024];  
            }  
  
            inputStream.close();  
            // 删除临时文件  
            if (childThreads[i].status == ChildThread.STATUS_HAS_FINISHED) {  
                childThreads[i].tempFile.delete();  
            }  
        }  
  
        outputStream.flush();  
        outputStream.close();  
    } catch (FileNotFoundException e) {  
        e.printStackTrace();  
    } catch (IOException e) {  
        e.printStackTrace();  
    }  
} 

4、最后，说说断点续传，前面为了实现断点续传，在每个下载线程中都创建了一个临时文件，现在我们就要利用这个临时文件来设置断点的位置。由于临时文件的命名方式都是固定的，所以我们就专门找对应下载的目标文件的临时文件，临时文件中已经下载的字节数就是我们需要的断点位置。startPos是一个数组，存放了每个线程的已下载的字节数。

//第一步，分析已下载的临时文件，设置断点，如果是新的下载任务，则建立目标文件。  
private long[] setThreadBreakpoint(String fileDir2, String fileName2,  
        long contentLength, long[] startPos) {  
    File file = new File(fileDir + fileName);  
    long localFileSize = file.length();  
  
    if (file.exists()) {  
        System.out.println("file " + fileName + " has exists!");  
        // 下载的目标文件已存在，判断目标文件是否完整  
        if (localFileSize < contentLength) {  
           System.out.println("Now download continue ... ");  
  
            // 遍历目标文件的所有临时文件，设置断点的位置，即每个临时文件的长度  
            File tempFileDir = new File(fileDir);  
            File[] files = tempFileDir.listFiles();  
            for (int k = 0; k < files.length; k++) {  
                String tempFileName = files[k].getName();  
                // 临时文件的命名方式为：目标文件名+"_"+编号  
                if (tempFileName != null && files[k].length() > 0  
                        && tempFileName.startsWith(fileName + "_")) {  
                    int fileLongNum = Integer.parseInt(tempFileName  
                            .substring(tempFileName.lastIndexOf("_") + 1,  
                                    tempFileName.lastIndexOf("_") + 2));  
                    // 为每个线程设置已下载的位置  
                    startPos[fileLongNum] = files[k].length();  
                }  
            }  
        }  
    } else {  
        // 如果下载的目标文件不存在，则创建新文件  
        try {  
            file.createNewFile();  
        } catch (IOException e) {  
            e.printStackTrace();  
        }  
    }  
  
    return startPos;  
} 

5、测试

public class DownloadStartup {  
    private static final String encoding = "utf-8";   
    public static void main(String[] args) {  
        DownloadTask downloadManager = new DownloadTask();        
        String urlStr = "http://apache.freelamp.com/velocity/tools/1.4/velocity-tools-1.4.zip";       
        downloadManager.setSleepSeconds(5);  
        downloadManager.download(urlStr, encoding);  
    }  
} 

另：在测试从skycn下载软件的过程中，碰到了一个错误：
java.io.IOException: Server returned HTTP response code: 416 for URL: http://www.skycn.com/
上网查了一下：416  Requested Range Not Satisfiable  服务器不能满足客户在请求中指定的Range头，于是把threadNum改为1就可以了。

这个下载功能现在只是完成了很基础的一部分，最初的初衷就是为了演练一下CountdownLatch。CountdownLatch就是一个计数器，就像一个拦截的栅栏，用await()方法来把栅栏关上，线程就跑不下去了，只有等计数器减为0的时候，栅栏才会自动打开，被暂停的线程才会继续运行。CountdownLatch的应用场景可以有很多，分段下载就是一个很好的例子。