- 浏览: 23014 次
- 性别:
- 来自: 北京
最新评论
断点续传内核的实现
主要用了 6 个类,包括一个测试类。
SiteFileFetch.java 负责整个文件的抓取,控制内部线程 (FileSplitterFetch 类 )。
FileSplitterFetch.java 负责部分文件的抓取。
FileAccess.java 负责文件的存储。
SiteInfoBean.java 要抓取的文件的信息,如文件保存的目录,名字,抓取文件的 URL 等。
Utility.java 工具类,放一些简单的方法。
TestMethod.java 测试类。
下面是源程序:
主要用了 6 个类,包括一个测试类。
SiteFileFetch.java 负责整个文件的抓取,控制内部线程 (FileSplitterFetch 类 )。
FileSplitterFetch.java 负责部分文件的抓取。
FileAccess.java 负责文件的存储。
SiteInfoBean.java 要抓取的文件的信息,如文件保存的目录,名字,抓取文件的 URL 等。
Utility.java 工具类,放一些简单的方法。
TestMethod.java 测试类。
下面是源程序:
package cn.hiservice.download; import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.HttpURLConnection; import java.net.URL; /** * * @author Administrator * */ public class SiteFileFetch extends Thread { SiteInfoBean siteInfoBean = null; // 文件信息 Bean long[] nStartPos; // 开始位置 long[] nEndPos; // 结束位置 FileSplitterFetch[] fileSplitterFetch; // 子线程对象 long nFileLength; // 文件长度 boolean bFirst = true; // 是否第一次取文件 boolean bStop = false; // 停止标志 File tmpFile; // 文件下载的临时信息 DataOutputStream output; // 输出到文件的输出流 public SiteFileFetch(SiteInfoBean bean) throws IOException { siteInfoBean = bean; tmpFile = new File(bean.getSFilePath() + File.separator + bean.getSFileName() + ".info"); System.out.println(tmpFile); if (tmpFile.exists()) { bFirst = false; read_nPos(); } else { nStartPos = new long[bean.getNSplitter()]; nEndPos = new long[bean.getNSplitter()]; } } public void run() { // 获得文件长度 // 分割文件 // 实例 FileSplitterFetch // 启动 FileSplitterFetch 线程 // 等待子线程返回 try { if (bFirst) { nFileLength = getFileSize(); if (nFileLength == -1) { System.err.println("File Length is not known!"); } else if (nFileLength == -2) { System.err.println("File is not access!"); } else { for (int i = 0; i < nStartPos.length; i++) { nStartPos[i] = (long) (i * (nFileLength / nStartPos.length)); } for (int i = 0; i < nEndPos.length - 1; i++) { nEndPos[i] = nStartPos[i + 1]; } nEndPos[nEndPos.length - 1] = nFileLength; } } // 启动子线程 fileSplitterFetch = new FileSplitterFetch[nStartPos.length]; for (int i = 0; i < nStartPos.length; i++) { fileSplitterFetch[i] = new FileSplitterFetch(siteInfoBean .getSSiteURL(), siteInfoBean.getSFilePath() + File.separator + siteInfoBean.getSFileName(), nStartPos[i], nEndPos[i], i); Utility.log("Thread " + i + " , nStartPos = " + nStartPos[i] + ", nEndPos = " + nEndPos[i]); fileSplitterFetch[i].start(); } /* * fileSplitterFetch[nPos.length-1] = new * FileSplitterFetch(siteInfoBean.getSSiteURL(), * siteInfoBean.getSFilePath() + File.separator + * siteInfoBean.getSFileName * (),nPos[nPos.length-1],nFileLength,nPos.length-1); */ // Utility.log("Thread " +(nPos.length-1) + // ",nStartPos = "+nPos[nPos.length-1]+", // nEndPos = " + nFileLength); // fileSplitterFetch[nPos.length-1].start(); // 等待子线程结束 // int count = 0; // 是否结束 while 循环 boolean breakWhile = false; while (!bStop) { write_nPos(); Utility.sleep(500); breakWhile = true; for (int i = 0; i < nStartPos.length; i++) { if (!fileSplitterFetch[i].bDownOver) { breakWhile = false; break; } } if (breakWhile) break; // count++; // if(count>4) // siteStop(); } System.err.println("文件下载结束!"); } catch (Exception e) { e.printStackTrace(); } } // 获得文件长度 public long getFileSize() { int nFileLength = -1; try { URL url = new URL(siteInfoBean.getSSiteURL()); HttpURLConnection httpConnection = (HttpURLConnection) url .openConnection(); httpConnection.setRequestProperty("User-Agent", "NetFox"); int responseCode = httpConnection.getResponseCode(); if (responseCode >= 400) { processErrorCode(responseCode); return -2; // -2 represent access is error } String sHeader; for (int i = 1;; i++) { // DataInputStream in = new // DataInputStream(httpConnection.getInputStream ()); // Utility.log(in.readLine()); sHeader = httpConnection.getHeaderFieldKey(i); if (sHeader != null) { if (sHeader.equals("Content-Length")) { nFileLength = Integer.parseInt(httpConnection .getHeaderField(sHeader)); break; } } else break; } } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } Utility.log(nFileLength); return nFileLength; } // 保存下载信息(文件指针位置) private void write_nPos() { try { output = new DataOutputStream(new FileOutputStream(tmpFile)); output.writeInt(nStartPos.length); for (int i = 0; i < nStartPos.length; i++) { // output.writeLong(nPos[i]); output.writeLong(fileSplitterFetch[i].nStartPos); output.writeLong(fileSplitterFetch[i].nEndPos); } output.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } } // 读取保存的下载信息(文件指针位置) private void read_nPos() { try { DataInputStream input = new DataInputStream(new FileInputStream( tmpFile)); int nCount = input.readInt(); nStartPos = new long[nCount]; nEndPos = new long[nCount]; for (int i = 0; i < nStartPos.length; i++) { nStartPos[i] = input.readLong(); nEndPos[i] = input.readLong(); } input.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } } private void processErrorCode(int nErrorCode) { System.err.println("Error Code : " + nErrorCode); } // 停止文件下载 public void siteStop() { bStop = true; for (int i = 0; i < nStartPos.length; i++) fileSplitterFetch[i].splitterStop(); } public static void main(String[] args) { new TestMethod(); } }
package cn.hiservice.download; /* **FileSplitterFetch.java */ import java.io.*; import java.net.*; public class FileSplitterFetch extends Thread { String sURL; // File URL long nStartPos; // File Snippet Start Position long nEndPos; // File Snippet End Position int nThreadID; // Thread's ID boolean bDownOver = false; // Downing is over boolean bStop = false; // Stop identical FileAccessI fileAccessI = null; // File Access interface public FileSplitterFetch(String sURL, String sName, long nStart, long nEnd, int id) throws IOException { this.sURL = sURL; this.nStartPos = nStart; this.nEndPos = nEnd; nThreadID = id; fileAccessI = new FileAccessI(sName, nStartPos); } public void run() { while (nStartPos < nEndPos && !bStop) { try { URL url = new URL(sURL); HttpURLConnection httpConnection = (HttpURLConnection) url .openConnection(); httpConnection.setRequestProperty("User-Agent", "NetFox"); String sProperty = "bytes=" + nStartPos + "-"; httpConnection.setRequestProperty("RANGE", sProperty); Utility.log(sProperty); InputStream input = httpConnection.getInputStream(); // logResponseHead(httpConnection); byte[] b = new byte[1024]; int nRead; while ((nRead = input.read(b, 0, 1024)) > 0 && nStartPos < nEndPos && !bStop) { nStartPos += fileAccessI.write(b, 0, nRead); // if(nThreadID == 1) // Utility.log("nStartPos = " + nStartPos + ", nEndPos = " + // nEndPos); } Utility.log("Thread " + nThreadID + " is over!"); bDownOver = true; // nPos = fileAccessI.write (b,0,nRead); } catch (Exception e) { e.printStackTrace(); } } } // 打印回应的头信息 public void logResponseHead(HttpURLConnection con) { for (int i = 1;; i++) { String header = con.getHeaderFieldKey(i); if (header != null) // responseHeaders.put(header,httpConnection.getHeaderField(header)); Utility.log(header + " : " + con.getHeaderField(header)); else break; } } public void splitterStop() { bStop = true; } }
package cn.hiservice.download; public class SiteInfoBean { private String sSiteURL; // Site's URL private String sFilePath; // Saved File's Path private String sFileName; // Saved File's Name private int nSplitter; // Count of Splited Downloading File public SiteInfoBean() { // default value of nSplitter is 5 this("", "", "", 5); } public SiteInfoBean(String sURL, String sPath, String sName, int nSpiltter) { sSiteURL = sURL; sFilePath = sPath; sFileName = sName; this.nSplitter = nSpiltter; } public String getSSiteURL() { return sSiteURL; } public void setSSiteURL(String value) { sSiteURL = value; } public String getSFilePath() { return sFilePath; } public void setSFilePath(String value) { sFilePath = value; } public String getSFileName() { return sFileName; } public void setSFileName(String value) { sFileName = value; } public int getNSplitter() { return nSplitter; } public void setNSplitter(int nCount) { nSplitter = nCount; } }
package cn.hiservice.download; /* **FileAccess.java */ import java.io.*; public class FileAccessI implements Serializable { private static final long serialVersionUID = 1L; RandomAccessFile oSavedFile; long nPos; public FileAccessI() throws IOException { this("", 0); } public FileAccessI(String sName, long nPos) throws IOException { oSavedFile = new RandomAccessFile(sName, "rw"); this.nPos = nPos; oSavedFile.seek(nPos); } public synchronized int write(byte[] b, int nStart, int nLen) { int n = -1; try { oSavedFile.write(b, nStart, nLen); n = nLen; } catch (IOException e) { e.printStackTrace(); } return n; } }
package cn.hiservice.download; /* **Utility.java */ public class Utility { public Utility() { } public static void sleep(int nSecond) { try { Thread.sleep(nSecond); } catch (Exception e) { e.printStackTrace(); } } public static void log(String sMsg) { // System.err.println(sMsg); } public static void log(int sMsg) { System.err.println(sMsg); } }
package cn.hiservice.download; import org.junit.Test; /* **TestMethod.java */ public class TestMethod { public TestMethod() { try { SiteInfoBean bean = new SiteInfoBean( "http://localhost:8088/FileDownLoad/Ducati_Windows7.themepack", "D:\\temp", "Ducati_Windows7.themepack", 3); SiteFileFetch fileFetch = new SiteFileFetch(bean); fileFetch.start(); } catch (Exception e) { e.printStackTrace(); } } }
相关推荐
标题“Java实现断点续传”指的是使用Java编程语言来构建一个支持断点续传功能的系统。这个系统通常包含两个主要部分:客户端和服务器端。客户端负责发起文件上传请求,并能记住已经成功传输的部分,以便在连接中断后...
用 Java 实现断点续传 (HTTP) (2012年5月21日) Java写的支持断点续传的FTP--crybaby的博客 (2012年5月21日) Java写的支持断点续传的FTP - 罗索工作室 (2012年5月21日) java实现FTP多线程断点续传,上传下载!_qhghw...
### 用Java实现断点续传的技术解析 #### 一、技术原理概述 断点续传是一种在网络连接不稳定或在下载过程中出现意外中断时能够继续完成下载的技术。它通过记录下载过程中断时的位置,当重新启动下载任务时,可以从...
基于Java的的文件图片上传-分片上传-断点续传-秒传java源码.zip 1.主要功能经测试支持IE9以上,Chrome,FireFox;其他浏览器未测试; 2.文件上传部分:主要实现了文件的上传,进度条,多文件一起上传,上传前删除,...
以下是关于Java实现断点续传的一些关键知识点: 1. **HTTP协议基础**:断点续传依赖于HTTP协议中的Range头字段。当客户端(如Java程序)发起一个GET请求时,可以在请求头中包含"Range"字段,指定希望从文件的哪个...
【Java实现断点续传(HTTP)】 断点续传是一种网络传输技术,允许用户在文件下载中断后从已下载的部分继续,而无需重新下载整个文件。这种技术尤其有用,当下载大文件时,网络连接意外中断或者用户需要暂时停止下载...
以下是一个简单的示例代码框架,用于演示如何使用Java实现断点续传: ```java public class SiteFileFetch { public static void main(String[] args) { String urlStr = "http://www.example.com/down.zip"; ...
该项目旨在实现h5与fastdfs之间的高性能断点续传、秒传、大文件上传以及使用redis文件锁。系统提供了文件上传、文件处理、文件存储等功能。通过该项目,开发者可以学习并实践Java技术的应用,为后续的Web开发奠定...
【断点续传的原理】 断点续传是一种在文件传输过程中...总结,Java实现断点续传涉及到网络编程、文件操作、HTTP协议以及错误处理等多个方面,通过合理的设计和实现,可以在不稳定的网络环境中提供高效的文件下载服务。
为了深入理解这个系统的工作原理,你需要阅读源代码,理解类的设计和线程管理,以及如何与服务器进行交互以实现断点续传。同时,也要注意代码中可能包含的错误处理和重试机制,这些都是保证系统稳定性的关键部分。...
Java实现断点续传程序是一项在文件传输领域中常见的技术,尤其在大文件下载或上传时,能够提高效率并提供良好的用户体验。以下是关于这个主题的详细讲解。 **断点续传的原理** 断点续传的基本思想是允许用户在文件...
java实现断点续传 private void setHeader(URLConnection con) { con .setRequestProperty( "User-Agent", "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092510 Ubuntu/8.04 ...
本项目是一个基于Vue和Java的断点续传与大文件上传系统设计源码,共包含563个文件,其中包括258个Java文件、82个SVG文件等。系统采用了Vue-uploader和若依框架,为用户提供了一个便捷的文件上传解决方案。系统支持多...
### Java实现断点续传的关键几点 1. 客户端在发送请求时设置Range头,指定需要下载的文件的起始字节位置。 2. 服务器端需要检查请求头中的Range字段,确定要返回的文件范围,并在响应头中设置Content-Range字段。 3...
在这个实例中,我们将探讨如何在FastDFS中实现断点续传功能,并基于一个名为"vvhcc-fastdfs"的压缩包文件进行讲解。 1. **FastDFS架构与原理** FastDFS由两部分组成:跟踪服务器(Tracker Server)和存储服务器...
在Java中实现断点续传,通常涉及到文件I/O操作、HTTP协议的理解以及多线程编程。以下将详细介绍这些知识点。 首先,我们要理解什么是断点续传。断点续传(Resume Transfer)是一种允许用户在网络传输过程中,如果...
在Java中实现断点续传,需要记录已下载的部分(通常通过文件长度和已下载字节数确定),然后在下次下载时跳过已下载的部分,继续从未下载的部分开始。这需要对文件I/O有深入理解,特别是在处理大文件时要考虑到内存...
Java中实现断点续传上传,通常会涉及到以下几个关键步骤: 1. **文件分块**:客户端将大文件分成多个小块,每个块都有一个起始和结束的字节位置。 2. **记录进度**:客户端在本地存储已上传的块的信息,包括块的...