`
hao861002
  • 浏览: 87379 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

HttpClient关于下载的资料收集

阅读更多

HttpClient中下载模拟的资料如下:
在HttpMethodBase中发现如下代码:

java 代码
 
  1. public String getResponseBodyAsString() throws IOException {  
  2.         byte[] rawdata = null;  
  3.         if (responseAvailable()) {  
  4.             rawdata = getResponseBody();  
  5.         }  
  6.         if (rawdata != null) {  
  7.             return EncodingUtil.getString(rawdata, getResponseCharSet());  
  8.         } else {  
  9.             return null;  
  10.         }  
  11.     }  

其中在返回网络资源的内容时,使用了指定的编码对网页内容或图片内容进行了编码,这样,对于图片来说内容当然不能显示了,所以在获得图片内容时要使用如下的方法:

java 代码
 
  1. public byte[] getResponseBody() throws IOException   
  2. 或  
  3. public InputStream getResponseBodyAsStream() throws IOException  

在把返回的内容存储到文件中,这样就实现了图片的自动下载,下面的代码演示了下载图片的过程

java 代码
 
  1. import java.io.File;  
  2. import java.io.FileOutputStream;  
  3. import java.io.IOException;  
  4.   
  5. import org.apache.commons.httpclient.HttpClient;  
  6. import org.apache.commons.httpclient.methods.GetMethod;  
  7.   
  8. /** 
  9.  * 用HttpClient下载图片 
  10.  * @author wei 
  11.  */  
  12. public class TestDownImage {  
  13.       
  14.     public static void main(String[] args) throws IOException{  
  15.         HttpClient client = new HttpClient();  
  16.         GetMethod get = new GetMethod("http://images.sohu.com/uiue/sohu_logo/beijing2008/2008sohu.gif");  
  17.         client.executeMethod(get);  
  18.         File storeFile = new File("c:/2008sohu.gif");  
  19.         FileOutputStream output = new FileOutputStream(storeFile);  
  20.         //得到网络资源的字节数组,并写入文件  
  21.         output.write(get.getResponseBody());  
  22.         output.close();  
  23.     }  
  24. }  
分享到:
评论
1 楼 chen88358323 2009-06-05  
httpclient.getConnectionManager().shutdown();

相关推荐

    httpclient-4.5.5

    2. **爬虫开发**:HttpClient 可用于抓取网页内容,实现自动化信息收集。 3. **安全通信**:HTTPS 请求对于涉及敏感信息的网络交互至关重要,HttpClient 提供了简便的 SSL/TLS 支持。 4. **代理服务器**:...

    HtmlParser和HttpClient学习资料

    在IT领域,网络爬虫是获取...通过学习这些资料,你将能够有效地构建和优化网络爬虫,无论是为了数据分析、信息收集还是其他目的,都将变得得心应手。记得在实践中不断迭代和优化你的爬虫,以适应不断变化的网络环境。

    使用HttpClient和iText下载slideshare上的文档

    总之,通过HttpClient和iText的结合使用,可以实现自动化下载SlideShare上的文档,这对于研究、学习或收集特定类型的信息非常有帮助。同时,这也展示了Java在Web开发和文件处理方面的强大能力。

    HTTPclient+htmlparser

    这段时间在做一个网络爬虫,但是关于HTTPclient+htmlparser两个开源工具包很多版本都不全,这里是我自己收集的、绝对可用的,比较完整的版本。 导入后,需要用import引用. 希望有用,也是我自己做的备份。

    httpclient4.5所需要的全部jar包,包括commonslogging

    开发者通常会使用构建工具(如Maven或Gradle)来自动管理这些依赖,但手动收集和管理这些jar文件也是可行的,特别是在不使用构建工具的简单项目中。 5. **连接管理和池化**: HttpClient 4.5引入了连接管理器,...

    WIFI_HTTPClient_ArduinoJson擷取_esp32_源码

    标题 "WIFI_HTTPClient_ArduinoJson擷取_esp32_源码" 描述了一个基于Arduino的项目,该...5. 物联网应用的设计和实现,特别是在数据收集和处理方面。 了解并掌握这些知识点,对于进行物联网项目开发是非常有价值的。

    httpclient-4.4.httpcore-4.4.dom4j-1.4.log4j-1.2.16.rar

    它提供了灵活的日志级别控制,可以帮助开发者调试代码、追踪错误,以及在生产环境中收集运行日志。尽管Log4j 1.2.16已经较为陈旧,但仍然是许多老项目依赖的日志解决方案。 这些库的组合使用,通常意味着开发者正在...

    使用 HttpClient 和 HtmlParser 实现简易爬虫

    ### 使用HttpClient和HtmlParser实现简易爬虫的知识点详解 #### 一、HttpClient与HtmlParser简介 ...这种组合非常适合于构建初级的网络爬虫应用,对于需要从互联网上收集大量数据的场景非常有用。

    使用HTMLPARSER和HTTPCLIENT制作网络爬虫,附赠相关技术文档。

    总的来说,HTMLPARSER和HTTPCLIENT是构建网络爬虫的重要工具,它们可以帮助开发者高效地抓取和解析网页数据,从而实现自动化的信息收集和分析。通过不断学习和实践,你可以掌握更多网络爬虫的技巧,应对更复杂的网页...

    Tutorialspoint Gson HttpClient Java9 Python 数据结构 SciPy Thymeleaf 教程

    在本教程中,我们将深入探讨一系列关键的编程和数据分析技术,包括Gson、HttpClient、Java 9、Python数据结构、SciPy以及Thymeleaf。这些技术在现代软件开发和数据分析领域都扮演着重要的角色。 首先,让我们从Gson...

    基于SSM+maven+httpClient+jsoup实现的java爬虫项目,一个完整的小说网站.zip

    5. **Java爬虫**:Java爬虫是指使用Java编程语言编写的一种程序,可以自动地在网络中搜集信息。在这个项目中,开发者使用上述技术和工具创建了一个能够爬取小说网站的爬虫,可能用于数据分析、信息抓取或构建自定义...

    HttpClient 4.1.2 API

    用于访问 http 资源的开发包文档,收集编译并收录。方便开发中查阅~~

    rcp收集资料上传

    【标题】"rcp收集资料上传"涉及到的知识点主要集中在两个方面:一是RCP(Rich Client Platform)技术,二是资料的收集与上传。RCP是Eclipse框架的一部分,用于构建功能丰富的桌面应用程序。资料的收集与上传则可能...

    C# 图片下载器源代码

    在C#中,可以使用`System.Net.WebClient`类或者`HttpClient`类来发送HTTP请求并接收响应,实现图片的下载。 3. **多线程技术**:为了提高图片下载速度,通常会采用多线程或异步处理技术。C#中的`Task`类和`async/...

    Java使用HttpClient和HtmlParser实现的爬虫Demo.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的话,是需要追加额外费用的) 爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。...

    java学习中收集的有用资料

    以下是一些在学习Java过程中可能会遇到的关键知识点,这些知识点也是你在“java学习中收集的有用资料”中可能包含的内容: 1. **Java基础**:这是学习Java的第一步,包括变量、数据类型、运算符、控制结构(如if...

    C# 编写的资源下载器 支持网络爬虫

    本项目是一个基于C#的资源下载器,它不仅具备基础的文件下载功能,还集成了网络爬虫技术,能够深入挖掘并下载整个网站的内容。下面我们将详细探讨这个项目的相关知识点。 首先,我们要理解“资源下载器”的核心功能...

    源码 网站交互&JSON&xml&Webservice 通过httpclient获取到JSON数据展示到ListView

    免责声明:资料部分来源于合法的互联网渠道收集和整理,部分自己学习积累成果,供大家学习参考与交流。收取的费用仅用于收集和整理资料耗费时间的酬劳。 本人尊重原创作者或出版方,资料版权归原作者或出版方所有,...

    java学习资料收集库 Java学习资料

    这份"java学习资料收集库"包含了丰富的资源,旨在帮助初学者和有经验的开发者深化对Java语言的理解和应用能力。以下是对这些资源的详细解读: 1. **Java基础知识**: - **语法与结构**:Java的基本语法包括变量、...

Global site tag (gtag.js) - Google Analytics