package com.test;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;
/**
* 文件断点续传加分段上传线程
* @author wzztestin
*
*/
public class DownFileFetch extends Thread {
DownFileInfoBean siteInfoBean = null; // 文件信息 Bean
long[] nStartPos; // 开始位置
long[] nEndPos; // 结束位置
FileSplitterFetch[] fileSplitterFetch; // 子线程对象
long nFileLength; // 文件长度
boolean bFirst = true; // 是否第一次取文件
boolean bStop = false; // 停止标志
File tmpFile; // 文件下载的临时信息
DataOutputStream output; // 输出到文件的输出流
boolean fileflag;
String downfile;
public DownFileFetch(DownFileInfoBean bean) throws IOException {
siteInfoBean = bean;
//File.separator windows是\,unix是/
tmpFile = new File(bean.getSFilePath() + File.separator
+ bean.getSFileName() + ".info");
if (tmpFile.exists()) {
bFirst = false;
//读取已下载的文件信息
read_nPos();
} else {
nStartPos = new long[bean.getNSplitter()];
nEndPos = new long[bean.getNSplitter()];
}
fileflag = bean.getFileflag();
downfile = bean.getFilepath();
}
public void run() {
// 获得文件长度
// 分割文件
// 实例 FileSplitterFetch
// 启动 FileSplitterFetch 线程
// 等待子线程返回
try {
if (bFirst) {
nFileLength = getFileSize();
if (nFileLength == -1) {
System.err.println("File Length is not known!");
} else if (nFileLength == -2) {
System.err.println("File is not access!");
} else {
for (int i = 0; i < nStartPos.length; i++) {
nStartPos[i] = (long) (i * (nFileLength / nStartPos.length));
}
for (int i = 0; i < nEndPos.length - 1; i++) {
nEndPos[i] = nStartPos[i + 1];
}
nEndPos[nEndPos.length - 1] = nFileLength;
}
}
// 启动子线程
fileSplitterFetch = new FileSplitterFetch[nStartPos.length];
for (int i = 0; i < nStartPos.length; i++) {
fileSplitterFetch[i] = new FileSplitterFetch(
siteInfoBean.getSSiteURL(), siteInfoBean.getSFilePath()
+ File.separator + siteInfoBean.getSFileName(),
nStartPos[i], nEndPos[i], i,fileflag,downfile);
FileUtility.log("Thread " + i + " , nStartPos = " + nStartPos[i]
+ ", nEndPos = " + nEndPos[i]);
fileSplitterFetch[i].start();
}
// fileSplitterFetch[nPos.length-1] = new
// FileSplitterFetch(siteInfoBean.getSSiteURL(),siteInfoBean.getSFilePath()
// + File.separator +
// siteInfoBean.getSFileName(),nPos[nPos.length-1],nFileLength,nPos.length-1);
// FileUtility.log("Thread " +(nPos.length-1) +
// ",nStartPos = "+nPos[nPos.length-1]+",nEndPos = " + nFileLength);
// fileSplitterFetch[nPos.length-1].start();
// 等待子线程结束
// int count = 0;
// 是否结束 while 循环
boolean breakWhile = false;
while (!bStop) {
write_nPos();
FileUtility.sleep(500);
breakWhile = true;
for (int i = 0; i < nStartPos.length; i++) {
if (!fileSplitterFetch[i].bDownOver) {
breakWhile = false;
break;
}
}
if (breakWhile)
break;
// count++;
// if(count>4)
// siteStop();
}
System.err.println("文件下载结束！");
} catch (Exception e) {
e.printStackTrace();
}
} // 获得文件长度
public long getFileSize() {
int nFileLength = -1;
if(fileflag){
try {
URL url = new URL(siteInfoBean.getSSiteURL());
HttpURLConnection httpConnection = (HttpURLConnection) url
.openConnection();
httpConnection.setRequestProperty("User-Agent", "NetFox");
int responseCode = httpConnection.getResponseCode();
if (responseCode >= 400) {
processErrorCode(responseCode);
return -2; // -2 represent access is error
}
String sHeader;
for (int i = 1;; i++) {
// DataInputStream in = new
// DataInputStream(httpConnection.getInputStream ());
// FileUtility.log(in.readLine());
sHeader = httpConnection.getHeaderFieldKey(i);
if (sHeader != null) {
if (sHeader.equals("Content-Length")) {
nFileLength = Integer.parseInt(httpConnection
.getHeaderField(sHeader));
break;
}
} else
break;
}
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
FileUtility.log(nFileLength);
}else{
try{
File myflie = new File(downfile);
nFileLength = (int)myflie.length();
}catch(Exception e){
e.printStackTrace();
}
FileUtility.log(nFileLength);
}
return nFileLength;
}
// 保存下载信息（文件指针位置）
private void write_nPos() {
try {
output = new DataOutputStream(new FileOutputStream(tmpFile));
output.writeInt(nStartPos.length);
for (int i = 0; i < nStartPos.length; i++) {
// output.writeLong(nPos[i]);
output.writeLong(fileSplitterFetch[i].nStartPos);
output.writeLong(fileSplitterFetch[i].nEndPos);
}
output.close();
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
// 读取保存的下载信息（文件指针位置）
private void read_nPos() {
try {
DataInputStream input = new DataInputStream(new FileInputStream(
tmpFile));
int nCount = input.readInt();
nStartPos = new long[nCount];
nEndPos = new long[nCount];
for (int i = 0; i < nStartPos.length; i++) {
nStartPos[i] = input.readLong();
nEndPos[i] = input.readLong();
}
input.close();
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
private void processErrorCode(int nErrorCode) {
System.err.println("Error Code : " + nErrorCode);
}
// 停止文件下载
public void siteStop() {
bStop = true;
for (int i = 0; i < nStartPos.length; i++)
fileSplitterFetch[i].splitterStop();
}
}
package com.test;
import java.io.*;
import java.net.*;
/**
* 下载上传子线程
* @author wzztestin
*
*/
public class FileSplitterFetch extends Thread {
String sURL; // 下载文件的地址
long nStartPos; // 文件分段的开始位置
long nEndPos; // 文件分段的结束位置
int nThreadID; // 线程的 ID
boolean bDownOver = false; // 是否下载完成
boolean bStop = false; // 停止下载
FileAccess fileAccessI = null; // 文件对象
boolean fileflag; //是URL下载还是本地下载
File file = null;//本地下载文件
public FileSplitterFetch(String sURL, String sName, long nStart, long nEnd,
int id,boolean fileflag,String filepath) throws IOException {
this.sURL = sURL;
this.nStartPos = nStart;
this.nEndPos = nEnd;
nThreadID = id;
fileAccessI = new FileAccess(sName, nStartPos);
this.fileflag = fileflag;
if(filepath != null){
this.file = new File(filepath);
}
}
public void run() {
if(fileflag){
this.urldownload();
}else{
this.filedownload();
}
}
// 打印回应的头信息
public void logResponseHead(HttpURLConnection con) {
for (int i = 1;; i++) {
String header = con.getHeaderFieldKey(i);
if (header != null)
// responseHeaders.put(header,httpConnection.getHeaderField(header));
FileUtility.log(header + " : " + con.getHeaderField(header));
else
break;
}
}
/**
* 地址下载
*/
private void urldownload(){
while (nStartPos < nEndPos && !bStop) {
try {
URL url = new URL(sURL);
HttpURLConnection httpConnection = (HttpURLConnection) url
.openConnection();
httpConnection.setRequestProperty("User-Agent", "NetFox");
String sProperty = "bytes=" + nStartPos + "-";
httpConnection.setRequestProperty("RANGE", sProperty);
FileUtility.log(sProperty);
InputStream input = httpConnection.getInputStream();
// logResponseHead(httpConnection);
byte[] b = new byte[1024];
int nRead;
while ((nRead = input.read(b, 0, 1024)) > 0
&& nStartPos < nEndPos && !bStop) {
nStartPos += fileAccessI.write(b, 0, nRead);
// if(nThreadID == 1)
// FileUtility.log("nStartPos = " + nStartPos + ", nEndPos = " +
// nEndPos);
}
FileUtility.log("Thread " + nThreadID + " is over!");
bDownOver = true;
// nPos = fileAccessI.write (b,0,nRead);
} catch (Exception e) {
e.printStackTrace();
}
}
}
/**
* 文件下载
*/
private void filedownload(){
while (nStartPos < nEndPos && !bStop) {
try {
InputStream input = new FileInputStream(file);
input.skip(nStartPos);
byte[] b = new byte[1024];
int nRead;
while ((nRead = input.read(b, 0, 1024)) > 0
&& nStartPos < nEndPos && !bStop) {
nStartPos += fileAccessI.write(b, 0, nRead);
}
FileUtility.log("Thread " + nThreadID + " is over!");
bDownOver = true;
input.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
public void splitterStop() {
bStop = true;
}
}
package com.test;
/**
* 简单的工具类
* @author wzztestin
*
*/
public class FileUtility {
public FileUtility() {
}
public static void sleep(int nSecond) {
try {
Thread.sleep(nSecond);
} catch (Exception e) {
e.printStackTrace();
}
}
public static void log(String sMsg) {
System.err.println(sMsg);
}
public static void log(int sMsg) {
System.err.println(sMsg);
}
}
package com.test;
public class DownFileInfoBean {
private String sSiteURL; // 文件的下载地址
private String sFilePath; // 保存文件的路径
private String sFileName; // 保存文件的名字
private int nSplitter; // 文件分成几段，默认是5段
private boolean fileflag; // 如果为FALSE则是本地下载,为TRUE则URL下载
private String filepath;
public String getFilepath() {
return filepath;
}
public void setFilepath(String filepath) {
this.filepath = filepath;
}
public boolean getFileflag() {
return fileflag;
}
public void setFileflag(boolean fileflag) {
this.fileflag = fileflag;
}
public DownFileInfoBean() {
// default 5
this("", "", "", 5,false,null);
}
public DownFileInfoBean(String sURL, String sPath, String sName, int nSpiltter,boolean fileflag,String filepath) {
sSiteURL = sURL;
sFilePath = sPath;
sFileName = sName;
this.nSplitter = nSpiltter;
this.fileflag = fileflag;
this.filepath = filepath;
}
public String getSSiteURL() {
return sSiteURL;
}
public void setSSiteURL(String value) {
sSiteURL = value;
}
public String getSFilePath() {
return sFilePath;
}
public void setSFilePath(String value) {
sFilePath = value;
}
public String getSFileName() {
return sFileName;
}
public void setSFileName(String value) {
sFileName = value;
}
public int getNSplitter() {
return nSplitter;
}
public void setNSplitter(int nCount) {
nSplitter = nCount;
}
}
package com.test;
import java.io.*;
public class FileAccess implements Serializable {
/**
*
*/
private static final long serialVersionUID = -2518013155676212866L;
RandomAccessFile oSavedFile;
long nPos;
public FileAccess() throws IOException {
this("", 0);
}
public FileAccess(String sName, long nPos) throws IOException {
oSavedFile = new RandomAccessFile(sName, "rw");
this.nPos = nPos;
oSavedFile.seek(nPos);
}
public synchronized int write(byte[] b, int nStart, int nLen) {
int n = -1;
try {
oSavedFile.write(b, nStart, nLen);
n = nLen;
} catch (IOException e) {
e.printStackTrace();
}
return n;
}
}
package com.test;
/**
* 测试类
* @author wzztestin
*
*/
public class TestMethod {
public TestMethod() {
try {
/*DownFileInfoBean bean = new DownFileInfoBean(
"http://cdn.market.hiapk.com/data/upload//2012/09_27/17/car.wu.wei.kyo.shandian_174928.apk", "D:\\temp",
"shandian_174928.apk", 5,true,null);*/
DownFileInfoBean bean = new DownFileInfoBean(null, "D:\\temp",
"F-A2_20130923.apk", 10,false,"D:\\fengye-MA2013091200102_F-A2_20130923.apk");
DownFileFetch fileFetch = new DownFileFetch(bean);
fileFetch.start();
} catch (Exception e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
new TestMethod();
}
}
相关推荐
总的来说，FTP多线程上传下载、断点续传和分段下载是提升FTP操作性能的重要技术，它们在大文件传输场景中尤其有用。C#提供的强大并发支持和丰富的第三方库使得实现这些功能变得更加便捷。在实际应用中，开发者需要...
同时，为了实现断点续传，需要保存并读取文件的已传输部分信息，这通常通过保存偏移量和已传输的字节数来完成。在服务端和客户端之间，需要有协议来协调各个线程的传输，确保数据的正确性和完整性。 "多线程传输...
在处理大文件上传时，为了实现最佳性能并确保可靠性，通常会采用分片上传和断点续传技术。本文将详细解析这两种技术以及如何在MinIO中实现它们，并提供前后端的示例代码。 分片上传： 1. **分片原理**：当上传大...
大文件的上传可能会遇到网络不稳定、服务器超时等问题，因此，为了确保文件上传的可靠性和用户体验，通常会采用分块上传和断点续传的技术。本Java Demo就是针对这个问题提供的一种解决方案，它允许开发者将大文件...
但这个插件支持断点续传功能，意味着用户可以在上次中断的地方继续上传，节省了大量时间和带宽。 3. **自定义参数**：开发者可以根据需要设置多个上传参数，比如用户ID、文件类型等，这些参数可以被服务器用来进行...
Minio 的文件切片功能（包含断点续传），将文件拆分为多个较小的块或分片，然后分别上传这些分片到 Minio 服务器。这样做的好处是可以提高上传效率、减少失败风险，以及支持大文件上传。
断点续传和多线程下载是两种在网络编程中用于优化大文件传输的技术，尤其在C++、C++Builder和VC等环境下应用广泛。在Windows系统中，它们可以帮助提高文件下载速度，降低网络资源的浪费，并能处理网络中断后的恢复...
传统的单文件一次性上传方式对于大文件可能会遇到网络中断、服务器压力过大等问题，因此，分段上传和断点续传技术应运而生。本项目以"C#"后端和"Vue"前端框架为基础，实现了大文件的分段上传与断点续传功能，有效地...
在IT行业中，大附件上传和断点续传是网络传输技术中的重要组成部分，尤其是在云存储、邮件服务和文件共享等领域。这些技术的实现通常涉及到复杂的编程逻辑和协议处理。本示例是用C#语言实现的，利用了block分块模式...
Spring Boot结合MinIO实现的大文件分片上传技术，通过将大文件分割成小片段并并行上传，有效提升了文件上传速度和稳定性。该技术利用了Spring Boot框架的强大功能和MinIO对象存储的高效性，使得大文件的上传过程更加...
本项目“jsp+vue3实现大文件分段上传、断点续传”聚焦于解决这一问题，通过结合Java服务器端技术（JSP）与前端Vue.js 3框架，实现了高效稳定的大文件上传功能，尤其是支持断点续传和暂停上传。 **1. 分段上传** ...
这个Demo项目展示了如何实现在Android平台上实现多文件的分段断点续传功能。断点续传允许用户在任意时刻中断下载或上传任务，并在之后继续从上次中断的地方开始，而不是从头开始，这大大提高了用户体验，尤其是在...
此外，断点续传不仅限于下载，也可以应用于上传场景，原理相同，只是请求类型和服务器的响应略有不同。 总之，Delphi的断点续传源码例程是一个很好的学习资源，可以帮助你掌握如何在实际项目中实现这一功能。通过...
本项目基于SpringBoot 2.6 和 Vue.js 实现了大文件的分段上传以及断点续传功能，这是一项高效且用户体验良好的技术实践。下面将详细解释这个系统的关键技术和实现步骤。 首先，让我们关注SpringBoot的部分。...
4. **断点续传**：当上传中断时，客户端会保存已上传块的信息（如块的索引和哈希值）。重新开始上传时，客户端会向服务器请求当前文件的状态，然后仅上传未完成的块。 5. **合并文件**：所有块都成功上传后，服务器...
在Android开发中，断点续传是一项非常实用的技术，它允许用户在下载或上传文件时中断操作，并在后续时间点继续未完成的部分，无需重新开始整个过程。这尤其适用于大文件传输，因为网络不稳定或者设备需要关闭时，...
3. **断点续传实现**：断点续传的关键在于记录已上传的部分并能够恢复到这个状态。这通常涉及到以下几个步骤： - **文件切片**：将大文件分割成多个小块，每个块都有自己的标识（如偏移量和长度）。 - **状态...
因此，在Electron中实现大文件上传和断点续传功能，首先需要理解Electron的工作原理和如何结合前端技术与Node.js的能力。 ### 大文件上传的实现方法 在传统的Web应用中，大文件上传可能会遇到一些问题，比如浏览器...
在mysql中创建 upload 数据库，导入sql文件，运行项目，修改 database.java 文件下的数据库密码，就实现了超大附件的分片上传，每个方法的功能都写着注解呢，个根据需要做断点续传功能！ 后端导了fileupload的jar包 ...
本文将详细介绍如何在Android环境中实现FTP的多线程断点续传下载和上传功能，以及在实现过程中需要注意的关键点。 FTP下载原理： FTP协议不同于HTTP协议，它没有HTTP中的头文件来指定下载范围。然而，FTP提供了REST...