来自:深沉的船
下面介绍在使用HttpClient过程中常见的一些问题。
字符编码
某目标页的编码可能出现在两个地方,第一个地方是服务器返回的http头中,另外一个地方是得到的html/xml页面中。
- 在http头的Content-Type字段可能会包含字符编码信息。例如可能返回的头会包含这样子的信息:Content-Type: text/html; charset=UTF-8。这个头信息表明该页的编码是UTF-8,但是服务器返回的头信息未必与内容能匹配上。比如对于一些双字节语言国家,可能服务器返回的编码类型是UTF-8,但真正的内容却不是UTF-8编码的,因此需要在另外的地方去得到页面的编码信息;但是如果服务器返回的编码不是UTF-8,而是具体的一些编码,比如gb2312等,那服务器返回的可能是正确的编码信息。通过method对象的getResponseCharSet()方法就可以得到http头中的编码信息。
- 对于象xml或者html这样的文件,允许作者在页面中直接指定编码类型。比如在html中会有<meta http-equiv="Content-Type" content="text/html; charset=gb2312"/>这样的标签;或者在xml中会有<?xml version="1.0" encoding="gb2312"?>这样的标签,在这些情况下,可能与http头中返回的编码信息冲突,需要用户自己判断到底那种编码类型应该是真正的编码。
自动转向
根据RFC2616中对自动转向的定义,主要有两种:301和302。301表示永久的移走(Moved Permanently),当返回的是301,则表示请求的资源已经被移到一个固定的新地方,任何向该地址发起请求都会被转到新的地址上。302表示暂时的转向,比如在服务器端的servlet程序调用了sendRedirect方法,则在客户端就会得到一个302的代码,这时服务器返回的头信息中location的值就是sendRedirect转向的目标地址。
HttpClient支持自动转向处理,但是象POST和PUT方式这种要求接受后继服务的请求方式,暂时不支持自动转向,因此如果碰到POST方式提交后返回的是301或者302的话需要自己处理。就像刚才在POSTMethod中举的例子:如果想进入登录BBS后的页面,必须重新发起登录的请求,请求的地址可以在头字段location中得到。不过需要注意的是,有时候location返回的可能是相对路径,因此需要对location返回的值做一些处理才可以发起向新地址的请求。
另外除了在头中包含的信息可能使页面发生重定向外,在页面中也有可能会发生页面的重定向。引起页面自动转发的标签是:<meta http-equiv="refresh" content="5; url=upload/200908102309275371.png" alt="" title="使用HttpClient过程中常见的一些问题 - cat0425 - cat0425的博客" />
2. 单击"View Certificate",在弹出的对话框中选择"Details",然后再单击"Copy to File",根据提供的向导生成待访问网页的证书文件
3. 向导第一步,欢迎界面,直接单击"Next",
4. 向导第二步,选择导出的文件格式,默认,单击"Next",
5. 向导第三步,输入导出的文件名,输入后,单击"Next",
6. 向导第四步,单击"Finish",完成向导
7. 最后弹出一个对话框,显示导出成功
-
用keytool工具把刚才导出的证书倒入本地keystore。Keytool命令在<java-home>\bin\下,打开命令行窗口,并到<java-home>\lib\security\目录下,运行下面的命令:
keytool -import -noprompt -keystore cacerts -storepass changeit -alias yourEntry1 -file your.cer
其中参数alias后跟的值是当前证书在keystore中的唯一标识符,但是大小写不区分;参数file后跟的是刚才通过IE导出的证书所在的路径和文件名;如果你想删除刚才导入到keystore的证书,可以用命令:
keytool -delete -keystore cacerts -storepass changeit -alias yourEntry1
|
- 写程序访问https地址。如果想测试是否能连上https,只需要稍改一下GetSample例子,把请求的目标变成一个https地址。
GetMethod getMethod = new GetMethod("https://www.yourdomain.com");
|
运行该程序可能出现的问题:
1. 抛出异常java.net.SocketException: Algorithm SSL not available。出现这个异常可能是因为没有加JSSEProvider,如果用的是IBM的JSSE Provider,在程序中加入这样的一行:
if(Security.getProvider("com.ibm.jsse.IBMJSSEProvider") == null) Security.addProvider(new IBMJSSEProvider());
|
或者也可以打开<java-home>\lib\security\java.security,在行
security.provider.1=sun.security.provider.Sunsecurity.provider.2=com.ibm.crypto.provider.IBMJCE
|
后面加入security.provider.3=com.ibm.jsse.IBMJSSEProvider
2. 抛出异常java.net.SocketException: SSL implementation not available。出现这个异常可能是你没有把ibmjsse.jar拷贝到<java-home>\lib\ext\目录下。
3. 抛出异常javax.net.ssl.SSLHandshakeException: unknown certificate。出现这个异常表明你的JSSE应该已经安装正确,但是可能因为你没有把证书导入到当前运行JRE的keystore中,请按照前面介绍的步骤来导入你的证书。
方法2,扩展HttpClient类实现自动接受证书
因为这种方法自动接收所有证书,因此存在一定的安全问题,所以在使用这种方法前请仔细考虑您的系统的安全需求。具体的步骤如下:
- 提供一个自定义的socket factory(test.MySecureProtocolSocketFactory)。这个自定义的类必须实现接口org.apache.commons.httpclient.protocol.SecureProtocolSocketFactory,在实现接口的类中调用自定义的X509TrustManager(test.MyX509TrustManager),这两个类可以在随本文带的附件中得到
- 创建一个org.apache.commons.httpclient.protocol.Protocol的实例,指定协议名称和默认的端口号
Protocol myhttps = new Protocol("https", new MySecureProtocolSocketFactory (), 443);
|
- 注册刚才创建的https协议对象
Protocol.registerProtocol("https ", myhttps);
|
- 然后按照普通编程方式打开https的目标地址,代码请参见test.NoCertificationHttpsGetSample
处理代理服务器
HttpClient中使用代理服务器非常简单,调用HttpClient中setProxy方法就可以,方法的第一个参数是代理服务器地址,第二个参数是端口号。另外HttpClient也支持SOCKS代理。
httpClient.getHostConfiguration().setProxy(hostName,port);
|
结论
从上面的介绍中,可以知道HttpClient对http协议支持非常好,使用起来很简单,版本更新快,功能也很强大,具有足够的灵活性和扩展性。对于想在Java应用中直接访问http资源的编程人员来说,HttpClient是一个不可多得的好工具。
参考资料
- Commons logging包含了各种各样的日志API的实现,读者可以通过站点http://jakarta.apache.org/commons/logging/得到详细的内容
- Commons codec包含了一些一般的解码/编码算法。包含了语音编码、十六进制、Base64和URL编码等,通过http://jakarta.apache.org/commons/codec/可以得到详细的内容
- rfc2616是关于HTTP/1.1的文档,可以在http://www.faqs.org/rfcs/rfc2616.html上得到详细的内容,另外rfc1945是关于HTTP/1.0的文档,通过http://www.faqs.org/rfcs/rfc1945.html可以得到详细内容
- SSL――SSL 是由 Netscape Communications Corporation 于 1994 年开发的,而 TLS V1.0 是由 Internet Engineering Task Force(IETF)定义的标准,它基于 SSL V3.0,并且在使用的加密算法上与其有些许的不同。例如,SSL 使用 Message Authentication Code(MAC)算法来生成完整性校验值,而 TLS 应用密钥的 Hashing for Message Authentication Code(HMAC)算法。
- IBM JSSE提供了SSL(Secure Sockets Layer)和TLS(Transport Layer Security)的java实现,在http://www-03.ibm.com/servers/eserver/zseries/software/java/jsse.html中可以得到详细的信息
- Keytool是一个管理密钥和证书的工具。关于它详细的使用信息可以在http://www.doc.ic.ac.uk/csg/java/1.3.1docs/tooldocs/solaris/keytool.html上得到
- HTTPClient的主页是http://jakarta.apache.org/commons/httpclient/,你可以在这里得到关于HttpClient更加详细的信息
分享到:
相关推荐
本文将深入探讨如何使用HttpClient来彻底解决乱码问题。 HttpClient是一个功能强大的HTTP客户端,支持多种HTTP协议版本,包括GET、POST等请求方法,以及重试、连接管理等功能。在处理中文字符时,由于编码不一致...
- **用户令牌和执行上下文**: 可以将用户令牌传递给执行上下文,以便在请求中使用。 综上所述,HttpClient 4.0是一个功能强大的HTTP客户端组件,提供了广泛的API来处理HTTP请求和响应。通过深入理解这些概念和技术...
在快速迁移指南中,提到了一些关键步骤和概念,例如使用多线程连接管理器`MultiThreadedHttpConnectionManager`,它是HttpClient 3.x中用来处理连接管理的一个重要组件。而在4.x版本中,这个管理器被`...
6. **错误处理**:在调用过程中,可能出现网络问题、服务异常等错误,需要适当地捕获和处理这些异常。 7. **依赖库**:压缩包中包含的其他JAR文件(如`commons-collections.jar`、`commons-lang.jar`等)是Apache ...
虽然Java标准库中的`java.net`包提供了一些基本的HTTP功能,但在实际开发过程中,这些功能往往无法满足复杂的应用场景需求。因此,Apache HttpClient 应运而生。 #### 二、HttpClient简介 Apache HttpClient 是一个...
HttpClient使用它来记录执行过程中的一些信息,方便调试和问题定位。 三、使用HttpClient进行POST和GET 1. GET请求:通过HttpClient,我们可以轻松创建GET请求。首先,创建一个`HttpGet`对象,设置请求的URL,然后...
HttpClient中常见的异常类有HttpException、IOException等,需要在使用过程中捕获并处理。 七、安全性 HttpClient支持通过SSL/TLS协议进行安全的HTTPS通信,需要配置SSLContext和KeyManager/FacilityManager。 八...
以下是一些常见的使用场景: - **发送GET请求**:获取网页内容,或者获取API提供的数据。 - **发送POST请求**:提交表单数据,或者向RESTful API发送复杂的数据结构。 - **处理响应**:解析返回的HTML或JSON内容,...
其中,“HttpClient”是这样一个库,它旨在为Ruby开发者提供类似于Perl中的libwww-perl(LWP)模块的功能。 libwww-perl(LWP)是Perl语言中一个强大的HTTP客户端库,它允许程序员创建能够发送HTTP请求并处理响应的...
在Android开发中,文件的下载、上传和解压是常见的操作,尤其是在移动应用中处理用户数据或者更新应用程序时。这个压缩包"安卓文件下载上传解压相关-Android使用HttpClient实现上传下载功能并监控进度.rar"提供了...
1. Jar包:包含了HttpClient的运行库,可以直接引入到项目中使用。 2. 文档:详细介绍了HttpClient的API、配置和使用示例,是开发者的重要参考资料。 3. 源代码:通过阅读源代码,开发者可以理解HttpClient内部的...
总结起来,Java调用Web Service的方式多样,HttpClient和XFire是其中常见的两个选择。HttpClient提供了基础的HTTP操作,适合对HTTP有自定义需求的场景;而XFire则提供了更高级的功能,简化了Web Service的调用过程。...
在WPF(Windows Presentation Foundation)应用程序中,与Web API进行交互是常见的需求,尤其是在需要从服务器获取数据或发送用户操作到后端时。本教程将深入探讨如何利用HttpClient类在WPF应用中异步调用Web API,...
这个封裝工具类是对HttpClient 4.3进行的二次开发,旨在简化HTTP请求的处理,解决一些常见的问题,如代理设置、多线程并发请求、SSL安全连接以及GET和POST请求的通用实现。 1. **代理问题**:在进行网络请求时,...
本项目主要涉及的是使用Apache HttpClient库来实现批量爬取“美图”的过程。HttpClient是Java编程语言中的一款强大且灵活的HTTP客户端,适用于执行各种HTTP操作,包括GET、POST、PUT等请求方法。下面我们将深入探讨...
当然了,正如前面说到的,如果我们自己使用java.net.HttpURLConnection来搞定这些问题是很恐怖的事情,因此在开始之前我们先要介绍一下一个开放源码的项目,这个项目就是Apache开源组织中的httpclient,它隶属于...
在IT行业中,获取网页数据是常见的任务之一,用于数据分析、信息抓取或自动化测试等场景。HttpClient和HtmlParser是两个非常实用的Java库,分别用于处理HTTP通信和解析HTML内容。下面将详细介绍这两个库以及如何结合...
### HTTPCLIENT 中文指南知识点详解 #### 一、HttpCore概览 **1.1 HTTP报文** **1.1.1 结构** HTTP报文主要由头部和可选的内容体构成。对于HTTP请求报文而言,头部由请求行和一系列头部字段组成;而HTTP响应报文...
### 使用HttpClient和HtmlParser实现简易爬虫的知识点详解 #### 一、HttpClient与HtmlParser简介 **HttpClient简介:** HttpClient是Jakarta Commons项目中的一个重要组件,用于提供灵活且高效的HTTP协议支持。它...
在这个过程中,你可能会遇到一些挑战,比如反爬虫策略、动态加载的内容、大量的并发请求等。对于这些问题,你可能需要学习更高级的技术,如模拟登录、使用Selenium进行浏览器自动化、使用线程池管理并发等。 在提供...