许多用户可能会遇到这样的情况:在网站上发现一个很好的资源,但是这个资源是分成了很多个文件存放的,如果想把它保存到本地,只有靠用户点击另存来完成保存,如果资源分了几百甚至上千上万,那简直是个灾难。
在Internet上很多的资源分成多个文件存放时,它的文件命名是有一定的规则的;正因如此,我们就可以用程序来完成这个资源的完全下载。
1. 基础知识
在Internet上,我们要下载网站上的某个资源,我们会获得一个URL(Uniform Resource Locator),它是一个服务器资源定位的描述,下载的过程总是如下步骤:
? 步骤1:客户端发起连接请求一个URL
? 步骤2:服务器解析URL,并将指定的资源返回一个输入流给客户
? 步骤3:客户端接收输入流,将流中的内容存到文件
2. 网络连接的建立
Java提供了对URL访问和大量的流操作的的API,我们可以很容易的完成对网络上资源的存取,下面的代码段就完成了对一个网站的资源进行访问:
......
destUrl="http://www.ebook.com/java/网络编程001.zip";
url = new URL(destUrl); httpUrl = (HttpURLConnection) url.openConnection();
//连接指定的网络资源
httpUrl.connect();
//获取网络输入流
bis = new BufferedInputStream(httpUrl.getInputStream());
......
3. 代理的访问
Java 中通过代理服务器访问外网的方法已经是世人皆知的秘密了。这里就不再多描述了,访问的Java代码如下:
//设置代理服务器
System.getProperties().put("proxySet", "true");
System.getProperties().put("proxyHost", "10.154.134.110");
System.getProperties().put("proxyPort", "8080");
4. 网络资源的保存
在上节中,我们已经获取了指定网络资源的输入流,接下来我们要完成的就是读取输入流中的所以内容,并将其保存在文件中。 示例代码:
......
fos = new FileOutputStream(fileName);
if (this.DEBUG)
System.out.println("正在获取链接[" + destUrl + "]的内容...\n将其保存为文件[" + fileName +"]");
//保存文件
while ( (size = bis.read(buf)) != -1)
fos.write(buf, 0, size); ......
上面的示例代码就将网络资源的内容保存到了本地指定的文件中。
5. 代码清单
import java.io.*;
import java.net.*;
import java.util.*;
/**
* <p>Title: 个人开发的API</p>
* <p>Description: 将指定的HTTP网络资源在本地以文件形式存放</p>
* <p>Copyright: Copyright (c) 2004</p>
* <p>Company: NewSky</p>
* @author MagicLiao
* @version 1.0
*/
public class HttpGet {
public final static boolean DEBUG = true;//调试用
private static int BUFFER_SIZE = 8096;//缓冲区大小
private Vector vDownLoad = new Vector();//URL列表
private Vector vFileList = new Vector();//下载后的保存文件名列表
/**
* 构造方法
*/
public HttpGet() {
}
/**
* 清除下载列表
*/
public void resetList() {
vDownLoad.clear();
vFileList.clear();
}
/**
* 增加下载列表项
*
* @param url String
* @param filename String
*/
public void addItem(String url, String filename) {
vDownLoad.add(url);
vFileList.add(filename);
}
/**
* 根据列表下载资源
*/
public void downLoadByList() {
String url = null;
String filename = null;
//按列表顺序保存资源
for (int i = 0; i < vDownLoad.size(); i++) {
url = (String) vDownLoad.get(i);
filename = (String) vFileList.get(i);
try {
saveToFile(url, filename);
}
catch (IOException err) {
if (DEBUG) {
System.out.println("资源[" + url + "]下载失败!!!");
}
}
}
if (DEBUG) {
System.out.println("下载完成!!!");
}
}
/**
* 将HTTP资源另存为文件
*
* @param destUrl String
* @param fileName String
* @throws Exception
*/
public void saveToFile(String destUrl, String fileName) throws IOException {
FileOutputStream fos = null;
BufferedInputStream bis = null;
HttpURLConnection httpUrl = null;
URL url = null;
byte[] buf = new byte[BUFFER_SIZE];
int size = 0;
//建立链接
url = new URL(destUrl);
httpUrl = (HttpURLConnection) url.openConnection();
//连接指定的资源
httpUrl.connect();
//获取网络输入流
bis = new BufferedInputStream(httpUrl.getInputStream());
//建立文件
fos = new FileOutputStream(fileName);
if (this.DEBUG)
System.out.println("正在获取链接[" + destUrl + "]的内容...\n将其保存为文件[" + fileName + "]");
//保存文件
while ( (size = bis.read(buf)) != -1)
fos.write(buf, 0, size);
fos.close();
bis.close();
httpUrl.disconnect();
}
/**
* 设置代理服务器
*
* @param proxy String
* @param proxyPort String
*/
public void setProxyServer(String proxy, String proxyPort) {
//设置代理服务器
System.getProperties().put("proxySet", "true");
System.getProperties().put("proxyHost", proxy);
System.getProperties().put("proxyPort", proxyPort);
}
/**
* 设置认证用户名与密码
*
* @param uid String
* @param pwd String
*/
public void setAuthenticator(String uid, String pwd) {
Authenticator.setDefault(new MyAuthenticator(uid, pwd));
}
/**
* 主方法(用于测试)
*
* @param argv String[]
*/
public static void main(String argv[]) {
HttpGet oInstance = new HttpGet();
try {
//增加下载列表(此处用户可以写入自己代码来增加下载列表)
oInstance.addItem("http://www.ebook.com/java/网络编程001.zip","./网络编程1.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程002.zip","./网络编程2.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程003.zip","./网络编程3.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程004.zip","./网络编程4.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程005.zip","./网络编程5.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程006.zip","./网络编程6.zip");
oInstance.addItem("http://www.ebook.com/java/网络编程007.zip","./网络编程7.zip");
//开始下载
oInstance.downLoadByList();
}
catch (Exception err) {
System.out.println(err.getMessage());
}
}
}
转载地址:http://publish.it168.com/2005/0810/20050810007202.shtml
分享到:
相关推荐
5. **实现文件队列下载** - 可以使用`Vector`容器存储待下载的URL和对应的目标文件名,创建一个`HttpGet`类来管理下载任务。 - 类中包含`addItem`方法添加下载任务,`resetList`方法清空下载列表,以及下载逻辑...
为了实现文件队列下载,可以创建一个`HttpGet`类,包含下载URL列表和保存文件名列表。类中可以包含添加下载项、清除列表等方法。以下是一个简化的代码示例: ```java import java.io.*; import java.net.*; import ...
总结起来,Java实现HTTP文件队列下载需要理解HTTP协议,掌握Java的多线程和同步机制,以及可能用到的第三方库如Apache HttpClient。通过合理的任务调度和错误处理,可以构建一个高效、可靠的文件下载系统。
本文将详细介绍一个基于Java实现的多线程文件上传系统,并结合队列管理技术来优化后台处理流程。该系统通过创建多个线程来并行处理客户端的文件上传请求,同时利用队列结构来协调任务的调度与执行。 #### 关键技术...
许多用户可能会遇到这样的情况:在网站上发现一个很好的资源,但是这个资源是分成了很多个文件存放的,如果想把它保存到本地,只有靠用户点击另存来完成保存,如果...本文介绍了使用Java程序来实现HTTP文件的队列下载。
在Java中,我们可以使用`java.util.PriorityQueue`类来实现优先队列,但这里我们关注的是用数组实现的方法。 2. **数组实现的基本思想** 数组实现优先队列的核心思想是维护一个最小堆(最小堆是堆数据结构的一种,...
在Java中,队列可以使用`java.util.Queue`接口及其实现类如`LinkedList`来创建。 2. **Java 面向对象编程**:此项目中,队列可能被实现为一个类,包含队列的基本操作,如添加元素(enqueue)、移除元素(dequeue)...
在IT行业中,线程池和消息...为了深入理解这些概念,你可以阅读提供的博客,学习博主如何通过Java实现线程池和消息队列,并结合源码文件来实践和巩固所学知识。这将有助于提升你的Java并发编程和分布式系统设计能力。
在这个Java队列实现的数据结构作业练习中,我们将会探讨如何使用Java来创建一个简单的队列,并分析`Queue.java`和`Node.java`这两个文件可能包含的内容。 首先,`Queue.java`很可能是实现队列接口或类的文件。在...
本篇文章将重点讲解如何使用RabbitMQ结合Java实现一个工具类,动态地根据配置文件创建队列和绑定。 首先,我们需要了解RabbitMQ的基本概念。在RabbitMQ中,队列(Queue)是存储消息的地方,生产者(Producer)发送...
本实现是用Java编程语言完成的,Java提供了一个内置的PriorityQueue类,但这里可能是自定义实现,以便更好地理解其工作原理和优化。 1. **优先队列的基本概念** - 优先队列是一个队列,但它不同于普通的FIFO(先进...
总结,用堆实现的优先队列在Java中是一种高效的数据结构,能够快速地获取和删除最高优先级的元素。通过分析PriorityQueue类和PQTest类的代码,我们可以深入了解堆的内部机制以及如何在实际应用中使用优先队列。
4. **导入JMS库**:在Java项目中,添加提供者的JAR文件到类路径,这样你就可以使用其提供的API。 5. **编写代码**:使用JMS API创建ConnectionFactory,然后创建QueueConnection和QueueSession。接着,你可以创建一...
本篇文章将深入探讨如何使用Java实现多线程文件传输,并涵盖以下几个关键知识点: 1. **线程基础**:在Java中,线程是程序执行的基本单元,可以通过实现`Runnable`接口或继承`Thread`类来创建。`Runnable`接口更...
“多级反馈队列调度算法.exe”可能是运行这个Java程序的可执行文件,使用者可以通过运行这个文件来观察算法的实际运行效果。在实际执行过程中,可以输入模拟的进程信息,观察调度器如何根据算法规则进行调度。 ...