httpClient 研究

虽然JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。

      HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包。

Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会更加深入。
一、简介
HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。
下载地址: http://hc.apache.org/downloads.cgi
二、特性
1. 基于标准、纯净的java语言。实现了Http1.0和Http1.1
2. 以可扩展的面向对象的结构实现了Http全部的方法（GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE）。
3. 支持HTTPS协议。
4. 通过Http代理建立透明的连接。
5. 利用CONNECT方法通过Http代理建立隧道的https连接。
6. Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。
7. 插件式的自定义认证方案。
8. 便携可靠的套接字工厂使它更容易的使用第三方解决方案。
9. 连接管理器支持多线程应用。支持设置最大连接数，同时支持设置每个主机的最大连接数，发现并关闭过期的连接。
10. 自动处理Set-Cookie中的Cookie。
11. 插件式的自定义Cookie策略。
12. Request的输出流可以避免流中内容直接缓冲到socket服务器。
13. Response的输入流可以有效的从socket服务器直接读取相应内容。
14. 在http1.0和http1.1中利用KeepAlive保持持久连接。
15. 直接获取服务器发送的response code和 headers。
16. 设置连接超时的能力。
17. 实验性的支持http1.1 response caching。
18. 源代码基于Apache License 可免费获取。
三、使用方法
使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。
1. 创建HttpClient对象。
2. 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。
3. 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。
4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。
5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。
6. 释放连接。无论执行方法是否成功，都必须释放连接
四、实例
[java] view plaincopy在CODE上查看代码片派生到我的代码片
package com.test; 
 
import java.io.File; 
import java.io.FileInputStream; 
import java.io.IOException; 
import java.io.UnsupportedEncodingException; 
import java.security.KeyManagementException; 
import java.security.KeyStore; 
import java.security.KeyStoreException; 
import java.security.NoSuchAlgorithmException; 
import java.security.cert.CertificateException; 
import java.util.ArrayList; 
import java.util.List; 
 
import javax.net.ssl.SSLContext; 
 
import org.apache.http.HttpEntity; 
import org.apache.http.NameValuePair; 
import org.apache.http.ParseException; 
import org.apache.http.client.ClientProtocolException; 
import org.apache.http.client.entity.UrlEncodedFormEntity; 
import org.apache.http.client.methods.CloseableHttpResponse; 
import org.apache.http.client.methods.HttpGet; 
import org.apache.http.client.methods.HttpPost; 
import org.apache.http.conn.ssl.SSLConnectionSocketFactory; 
import org.apache.http.conn.ssl.SSLContexts; 
import org.apache.http.conn.ssl.TrustSelfSignedStrategy; 
import org.apache.http.entity.ContentType; 
import org.apache.http.entity.mime.MultipartEntityBuilder; 
import org.apache.http.entity.mime.content.FileBody; 
import org.apache.http.entity.mime.content.StringBody; 
import org.apache.http.impl.client.CloseableHttpClient; 
import org.apache.http.impl.client.HttpClients; 
import org.apache.http.message.BasicNameValuePair; 
import org.apache.http.util.EntityUtils; 
import org.junit.Test; 
 
public class HttpClientTest { 
 
    @Test 
    public void jUnitTest() { 
        get(); 
    } 
 
    /**
     * HttpClient连接SSL
     */ 
    public void ssl() { 
        CloseableHttpClient httpclient = null; 
        try { 
            KeyStore trustStore = KeyStore.getInstance(KeyStore.getDefaultType()); 
            FileInputStream instream = new FileInputStream(new File("d:\\tomcat.keystore")); 
            try { 
                // 加载keyStore d:\\tomcat.keystore   
                trustStore.load(instream, "123456".toCharArray()); 
            } catch (CertificateException e) { 
                e.printStackTrace(); 
            } finally { 
                try { 
                    instream.close(); 
                } catch (Exception ignore) { 
                } 
            } 
            // 相信自己的CA和所有自签名的证书 
            SSLContext sslcontext = SSLContexts.custom().loadTrustMaterial(trustStore, new TrustSelfSignedStrategy()).build(); 
            // 只允许使用TLSv1协议 
            SSLConnectionSocketFactory sslsf = new SSLConnectionSocketFactory(sslcontext, new String[] { "TLSv1" }, null, 
                    SSLConnectionSocketFactory.BROWSER_COMPATIBLE_HOSTNAME_VERIFIER); 
            httpclient = HttpClients.custom().setSSLSocketFactory(sslsf).build(); 
            // 创建http请求(get方式) 
            HttpGet httpget = new HttpGet("https://localhost:8443/myDemo/Ajax/serivceJ.action"); 
            System.out.println("executing request" + httpget.getRequestLine()); 
            CloseableHttpResponse response = httpclient.execute(httpget); 
            try { 
                HttpEntity entity = response.getEntity(); 
                System.out.println("----------------------------------------"); 
                System.out.println(response.getStatusLine()); 
                if (entity != null) { 
                    System.out.println("Response content length: " + entity.getContentLength()); 
                    System.out.println(EntityUtils.toString(entity)); 
                    EntityUtils.consume(entity); 
                } 
            } finally { 
                response.close(); 
            } 
        } catch (ParseException e) { 
            e.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } catch (KeyManagementException e) { 
            e.printStackTrace(); 
        } catch (NoSuchAlgorithmException e) { 
            e.printStackTrace(); 
        } catch (KeyStoreException e) { 
            e.printStackTrace(); 
        } finally { 
            if (httpclient != null) { 
                try { 
                    httpclient.close(); 
                } catch (IOException e) { 
                    e.printStackTrace(); 
                } 
            } 
        } 
    } 
 
    /**
     * post方式提交表单（模拟用户登录请求）
     */ 
    public void postForm() { 
        // 创建默认的httpClient实例.   
        CloseableHttpClient httpclient = HttpClients.createDefault(); 
        // 创建httppost   
        HttpPost httppost = new HttpPost("http://localhost:8080/myDemo/Ajax/serivceJ.action"); 
        // 创建参数队列   
        List<namevaluepair> formparams = new ArrayList<namevaluepair>(); 
        formparams.add(new BasicNameValuePair("username", "admin")); 
        formparams.add(new BasicNameValuePair("password", "123456")); 
        UrlEncodedFormEntity uefEntity; 
        try { 
            uefEntity = new UrlEncodedFormEntity(formparams, "UTF-8"); 
            httppost.setEntity(uefEntity); 
            System.out.println("executing request " + httppost.getURI()); 
            CloseableHttpResponse response = httpclient.execute(httppost); 
            try { 
                HttpEntity entity = response.getEntity(); 
                if (entity != null) { 
                    System.out.println("--------------------------------------"); 
                    System.out.println("Response content: " + EntityUtils.toString(entity, "UTF-8")); 
                    System.out.println("--------------------------------------"); 
                } 
            } finally { 
                response.close(); 
            } 
        } catch (ClientProtocolException e) { 
            e.printStackTrace(); 
        } catch (UnsupportedEncodingException e1) { 
            e1.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } finally { 
            // 关闭连接,释放资源   
            try { 
                httpclient.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
    } 
 
    /**
     * 发送 post请求访问本地应用并根据传递参数不同返回不同结果
     */ 
    public void post() { 
        // 创建默认的httpClient实例.   
        CloseableHttpClient httpclient = HttpClients.createDefault(); 
        // 创建httppost   
        HttpPost httppost = new HttpPost("http://localhost:8080/myDemo/Ajax/serivceJ.action"); 
        // 创建参数队列   
        List<namevaluepair> formparams = new ArrayList<namevaluepair>(); 
        formparams.add(new BasicNameValuePair("type", "house")); 
        UrlEncodedFormEntity uefEntity; 
        try { 
            uefEntity = new UrlEncodedFormEntity(formparams, "UTF-8"); 
            httppost.setEntity(uefEntity); 
            System.out.println("executing request " + httppost.getURI()); 
            CloseableHttpResponse response = httpclient.execute(httppost); 
            try { 
                HttpEntity entity = response.getEntity(); 
                if (entity != null) { 
                    System.out.println("--------------------------------------"); 
                    System.out.println("Response content: " + EntityUtils.toString(entity, "UTF-8")); 
                    System.out.println("--------------------------------------"); 
                } 
            } finally { 
                response.close(); 
            } 
        } catch (ClientProtocolException e) { 
            e.printStackTrace(); 
        } catch (UnsupportedEncodingException e1) { 
            e1.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } finally { 
            // 关闭连接,释放资源   
            try { 
                httpclient.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
    } 
 
    /**
     * 发送 get请求
     */ 
    public void get() { 
        CloseableHttpClient httpclient = HttpClients.createDefault(); 
        try { 
            // 创建httpget.   
            HttpGet httpget = new HttpGet("http://www.baidu.com/"); 
            System.out.println("executing request " + httpget.getURI()); 
            // 执行get请求.   
            CloseableHttpResponse response = httpclient.execute(httpget); 
            try { 
                // 获取响应实体   
                HttpEntity entity = response.getEntity(); 
                System.out.println("--------------------------------------"); 
                // 打印响应状态   
                System.out.println(response.getStatusLine()); 
                if (entity != null) { 
                    // 打印响应内容长度   
                    System.out.println("Response content length: " + entity.getContentLength()); 
                    // 打印响应内容   
                    System.out.println("Response content: " + EntityUtils.toString(entity)); 
                } 
                System.out.println("------------------------------------"); 
            } finally { 
                response.close(); 
            } 
        } catch (ClientProtocolException e) { 
            e.printStackTrace(); 
        } catch (ParseException e) { 
            e.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } finally { 
            // 关闭连接,释放资源   
            try { 
                httpclient.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
    } 
 
    /**
     * 上传文件
     */ 
    public void upload() { 
        CloseableHttpClient httpclient = HttpClients.createDefault(); 
        try { 
            HttpPost httppost = new HttpPost("http://localhost:8080/myDemo/Ajax/serivceFile.action"); 
 
            FileBody bin = new FileBody(new File("F:\\image\\sendpix0.jpg")); 
            StringBody comment = new StringBody("A binary file of some kind", ContentType.TEXT_PLAIN); 
 
            HttpEntity reqEntity = MultipartEntityBuilder.create().addPart("bin", bin).addPart("comment", comment).build(); 
 
            httppost.setEntity(reqEntity); 
 
            System.out.println("executing request " + httppost.getRequestLine()); 
            CloseableHttpResponse response = httpclient.execute(httppost); 
            try { 
                System.out.println("----------------------------------------"); 
                System.out.println(response.getStatusLine()); 
                HttpEntity resEntity = response.getEntity(); 
                if (resEntity != null) { 
                    System.out.println("Response content length: " + resEntity.getContentLength()); 
                } 
                EntityUtils.consume(resEntity); 
            } finally { 
                response.close(); 
            } 
        } catch (ClientProtocolException e) { 
            e.printStackTrace(); 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } finally { 
            try { 
                httpclient.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
    } 
}</namevaluepair></namevaluepair></namevaluepair></namevaluepair> 
本实例是采用HttpClient4.3最新版本。该版本与之前的代码写法风格相差较大，大家多留意下。
以上内容来自http://blog.csdn.net/wangpeng047/article/details/19624529

对于https的请求，有的网站在没有证书的情况下可以通过，
HttpClient 如何忽略证书验证 - ALLOW_ALL_HOSTNAME_VERIFIER
设置可以访问HTTPS，但有的网站则必须要有证书。


    1、证书相关问题。
生成keystore: {jkd-path}/bin中有一个keytool,通过命令生成xxx.keystrore

keytool -genkey  -keyalg RSA -validity 2000 -keystore xxx.keystrore
按照提示完成生成过程：


现在只是生成了一个存放证书的"库"，我们需要把访问的server端的证书导入到我们刚才创建的"库"中。
（具体每个浏览器导出证书的过程类似）
Chrome 导出证书过程：

具体导出的cer方式应该都是可以的，我是默认导出第一个格式的。这里需要注意的是，导出的这个证书域名很重要，这个要与你代码里的域名保持一致，否则会提示域名不匹配导致请求被拒绝。

现在我们需要将导出的证书导入到我们刚才生成的xxx.keystore中,命令如下

keytool -importcert -trustcacerts -file zzz.cer -kestore xxx.keystore
其中-zzz.cer 就是你刚才导出证书的文件名。
其中-xxx.keystore就是你刚才生成的"库"。
    2、java代码实现

/**
*
*/
package demo.test;

import java.io.IOException;
import java.io.InputStream;
import java.security.KeyManagementException;
import java.security.KeyStore;
import java.security.KeyStoreException;
import java.security.NoSuchAlgorithmException;
import java.security.UnrecoverableKeyException;
import java.security.cert.CertificateException;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.conn.scheme.Scheme;
import org.apache.http.conn.ssl.SSLSocketFactory;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;

/**
* @author Hero_Q
*
*/
public class HTTPSDemo {

    private static final String SERVER = "https://xxx.com";

    public static void main(String[] args) {
        HttpClient httpClient = new DefaultHttpClient();
        try {
            KeyStore trustStore = KeyStore.getInstance(KeyStore.getDefaultType());
            InputStream in = HTTPSDemo.class.getResourceAsStream("xxx.keystore");
           //自己生成的库的密码，
trustStore.load(in, "123456".toCharArray());
            in.close();
            SSLSocketFactory socketFactory = new SSLSocketFactory(trustStore);
            Scheme sch = new Scheme("https", 443, socketFactory);
            httpClient.getConnectionManager().getSchemeRegistry().register(sch);

            HttpPost httpPost = new HttpPost(SERVER);
            System.out.println("executing request" + httpPost.getRequestLine());
            // 执行请求
            HttpResponse response = httpClient.execute(httpPost);// 获得响应实体
            HttpEntity entity = response.getEntity();

            System.out.println("----------------------------------------");
            System.out.println(response.getStatusLine());
            System.out.println(entity);
            if (entity != null) {
                System.out.println("Response content length: " + entity.getContentLength());
            }
            // 销毁实体
            EntityUtils.consume(entity);
        } catch (IOException | KeyStoreException | NoSuchAlgorithmException | CertificateException | KeyManagementException | UnrecoverableKeyException e) {
            e.printStackTrace();
        } finally {
            // 当不再需要HttpClient实例时,关闭连接管理器以确保释放所有占用的系统资源
            httpClient.getConnectionManager().shutdown();
        }
    }

}
（我用的是java7）,代码中需要指定的文件路径就是刚才生成的xxx.keystore库，具体原理就是构造请求，注册https协议，加载keystore，发送请求~我本地测试是可以通过的，具体的post请求中还需要加入具体的请求参数。不过最基本的还是http、https这些底层的东西应该清晰，要不仅仅的是把别人的代码copy下，跑通了，再次遇到类似的问题或许优化时会很无奈... 并且httpclient 发布的4.3的api还是有些改动的，如果不知道最基本的原理，永远只能停留在copy的阶段.... 加油，共同进步~。