httpclient的一些学习心得

最近忙于一个项目，了解下httpclient，在这里总结出来，和大家一起学习分享，希望各位朋友提出宝贵的意见。

首先介绍一下项目的背景：
  目标：把国内一家保险公司的“ＷＥＢ一账通”改成“ＷＡＰ一账通”。
  资源：客户不提供任何的webservice接口。
 
本项目中用到的第三方组件是apache的httpclient，一个非常强大的网页抓取工具（抓这个字用得可能不太好），　这里和大家
一起讨论下httpclient的一些常用用法和要注意的地方。

本文引用的资源列表：

  httpclient入门：  http://www.ibm.com/developerworks/cn/opensource/os-httpclient/
  httpclient证书导入：http://www.blogjava.net/happytian/archive/2006/12/22/89447.html
  httpclient高级认识：http://laohuang.iteye.com/blog/55613
  httpclient官方文档：http://hc.apache.org/httpcomponents-client/index.html
  httpclient资源关闭：http://www.iteye.com/topic/234759
 
 
上面的文章写得很好，看完之后也就知道怎么用httpclient这个很好的工具了，但是在这里还是补充一些比较重要的东西，也是项目中经
常碰到的问题。

首先要注意的有以下几点：
1、httpclient连接后资源释放问题很重要，就跟我们用database connection要释放资源一样。
2、https网站采用ssl加密传输，证书导入要注意。
3、做这样的项目最好先了解下http协义，比如302,301,200,404返回代码的含义（这是最基本的）,cookie,session的机制。
4、httpclient的redirect状态默认是自动的，这在很大程度上给开发者很大的方便（如一些授权获得cookie），但是有时要手动管理下，比如
　　有时会遇到CircularRedirectException异常，出现这样的情况是因为返回的头文件中location值指向之前重复(端口号可以不同)地址，导致可能会出现死
  循环递归重定向，这时可以手动关闭:method.setFollowRedirects(false)
5、有的网站会先判别用户的请求是否是来自浏览器，如不是，则返回不正确的文本，所以用httpclient抓取信息时在头部加入如下信息：
  header.put("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 1.7; .NET CLR 1.1.4322; CIBA; .NET CLR 2.0.50727)");
6、当post请求提交数据时要改变默认编码，不然的话提交上去的数据会出现乱码。重写postMethod的setContentCharSet()方法就可以了：





 
下面写一个通用类来处理request请求返回的文本:

/*
 * HttpRequestProxy.java
 *
 * Created on November 3, 2008, 9:53 AM
 */

package cn.com.mozat.net;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpMethod;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.SimpleHttpConnectionManager;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;

import cn.com.mozat.exception.CustomException;

/**
 * 
 * @author bird  email:[e-mail]
 *
 * 2008-11-4  09:49:48
 */
public class HttpRequestProxy{
    //超时间隔
    private static int connectTimeOut = 60000;
 //让connectionmanager管理httpclientconnection时是否关闭连接
    private static boolean alwaysClose = false;
 //返回数据编码格式
    private String encoding = "UTF-8";
    
    private final HttpClient client = new HttpClient(new SimpleHttpConnectionManager(alwaysClose));
 
    public HttpClient getHttpClient(){
        return client;
    }
      
    /**
     * 用法：
     * HttpRequestProxy hrp = new HttpRequestProxy();
     * hrp.doRequest("http://www.163.com",null,null,"gbk");
     * 
     * @param url  请求的资源ＵＲＬ
     * @param postData  POST请求时form表单封装的数据 没有时传null
     * @param header   request请求时附带的头信息(header) 没有时传null
     * @param encoding response返回的信息编码格式 没有时传null
     * @return  response返回的文本数据
     * @throws CustomException 
     */
    public String doRequest(String url,Map postData,Map header,String encoding) throws CustomException{
     String responseString = null;
     //头部请求信息
     Header[] headers = null;
     if(header != null){
      Set entrySet = header.entrySet();
         int dataLength = entrySet.size();
          headers= new Header[dataLength];
         int i = 0;
         for(Iterator itor = entrySet.iterator();itor.hasNext();){
          Map.Entry entry = (Map.Entry)itor.next();
          headers[i++] = new Header(entry.getKey().toString(),entry.getValue().toString());
         }
     }
     //post方式
        if(postData!=null){
         PostMethod postRequest = new PostMethod(url.trim());
         if(headers != null){
          for(int i = 0;i < headers.length;i++){
           postRequest.setRequestHeader(headers[i]);
          }
         }
         Set entrySet = postData.entrySet();
         int dataLength = entrySet.size();
         NameValuePair[] params = new NameValuePair[dataLength];
         int i = 0;
         for(Iterator itor = entrySet.iterator();itor.hasNext();){
          Map.Entry entry = (Map.Entry)itor.next();
          params[i++] = new NameValuePair(entry.getKey().toString(),entry.getValue().toString());
         }
         postRequest.setRequestBody(params);
         try {
    responseString = this.executeMethod(postRequest,encoding);
   } catch (CustomException e) {
    throw e;
   } finally{
    postRequest.releaseConnection();
   }
        }
      //get方式
        if(postData == null){
         GetMethod getRequest = new GetMethod(url.trim());
         if(headers != null){
          for(int i = 0;i < headers.length;i++){
           getRequest.setRequestHeader(headers[i]);
          }
         }
         try {
    responseString = this.executeMethod(getRequest,encoding);
   } catch (CustomException e) {
                e.printStackTrace();
    throw e;
   }finally{
    getRequest.releaseConnection();
   }
        }
 
        return responseString;
    }

 private String executeMethod(HttpMethod request, String encoding) throws CustomException{
  String responseContent = null;
  InputStream responseStream = null;
  BufferedReader rd = null;
  try {
   this.getHttpClient().executeMethod(request);
   if(encoding != null){
    responseStream = request.getResponseBodyAsStream();
     rd = new BufferedReader(new InputStreamReader(responseStream,
                      encoding));
              String tempLine = rd.readLine();
              StringBuffer tempStr = new StringBuffer();
              String crlf=System.getProperty("line.separator");
              while (tempLine != null)
              {
                  tempStr.append(tempLine);
                  tempStr.append(crlf);
                  tempLine = rd.readLine();
              }
              responseContent = tempStr.toString();
   }else
    responseContent = request.getResponseBodyAsString();
           
   Header locationHeader = request.getResponseHeader("location");
   //返回代码为302,301时，表示页面己经重定向，则重新请求location的url，这在
   //一些登录授权取cookie时很重要
   if (locationHeader != null) {
             String redirectUrl = locationHeader.getValue();
             this.doRequest(redirectUrl, null, null,null);
         }
  } catch (HttpException e) {
   throw new CustomException(e.getMessage());
  } catch (IOException e) {
   throw new CustomException(e.getMessage());

  } finally{
   if(rd != null)
    try {
     rd.close();
    } catch (IOException e) {
     throw new CustomException(e.getMessage());
    }
    if(responseStream != null)
     try {
      responseStream.close();
     } catch (IOException e) {
      throw new CustomException(e.getMessage());

     }
  }
  return responseContent;
 }
 
   
 /**
  * 特殊请求数据,这样的请求往往会出现redirect本身而出现递归死循环重定向
  * 所以单独写成一个请求方法
  * 比如现在请求的url为：http://localhost:8080/demo/index.jsp
  * 返回代码为302 头部信息中location值为:http://localhost:8083/demo/index.jsp
  * 这时httpclient认为进入递归死循环重定向，抛出CircularRedirectException异常
  * @param url
  * @return
  * @throws CustomException 
  */
 public String doSpecialRequest(String url,int count,String encoding) throws CustomException{
  String str = null;
  InputStream responseStream = null;
  BufferedReader rd = null;
  GetMethod getRequest = new GetMethod(url);
  //关闭httpclient自动重定向动能
  getRequest.setFollowRedirects(false);
  try {
   
   this.client.executeMethod(getRequest);
   Header header = getRequest.getResponseHeader("location");
   if(header!= null){
    //请求重定向后的ＵＲＬ，count同时加1
    this.doSpecialRequest(header.getValue(),count+1, encoding);
   }
   //这里用count作为标志位，当count为0时才返回请求的ＵＲＬ文本,
   //这样就可以忽略所有的递归重定向时返回文本流操作，提高性能
   if(count == 0){
    getRequest = new GetMethod(url);
    getRequest.setFollowRedirects(false);
    this.client.executeMethod(getRequest);
    responseStream = getRequest.getResponseBodyAsStream();
    rd = new BufferedReader(new InputStreamReader(responseStream,
                      encoding));
             String tempLine = rd.readLine();
             StringBuffer tempStr = new StringBuffer();
             String crlf=System.getProperty("line.separator");
             while (tempLine != null)
             {
                 tempStr.append(tempLine);
                 tempStr.append(crlf);
                 tempLine = rd.readLine();
             }
             str = tempStr.toString();
   }
   
  } catch (HttpException e) {
   throw new CustomException(e.getMessage());
  } catch (IOException e) {
   throw new CustomException(e.getMessage());
  } finally{
   getRequest.releaseConnection();
   if(rd !=null)
    try {
     rd.close();
    } catch (IOException e) {
     throw new CustomException(e.getMessage());
    }
    if(responseStream !=null)
     try {
      responseStream.close();
     } catch (IOException e) {
      throw new CustomException(e.getMessage());
     }
  }
  return str;
 }
 
 
 
 
 public static void main(String[] args) throws Exception{
  HttpRequestProxy hrp = new HttpRequestProxy();
   Map header = new HashMap();
         header.put("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 1.7; .NET CLR 1.1.4322; CIBA; .NET CLR 2.0.50727)");
  String str = hrp.doRequest(
    "http://www.cma-cgm.com/en/eBusiness/Tracking/Default.aspx?BolNumber=GZ2108827",
     null, header,null);
  System.out.println(str.contains("row_CRXU1587647"));
//  System.out.println(str);
 }
   
}

评论

2 楼 yangchujie1 2013-08-01  

[img][/img]

1 楼 sslaowan 2010-01-27  

多谢，很有帮助