`

JAVA 获取http返回XML的数据(另一篇)

    博客分类:
  • JAVA
阅读更多
JAVA-用HttpClient来模拟浏览器GET,POST 收藏 
一般的情况下我们都是使用IE或者Navigator浏览器来访问一个WEB服务器,用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面有的仅仅是一些普通的页面,有的需要用户登录后方可使用,或者需要认证以及是一些通过加密方式传输,例如HTTPS。目前我们使用的浏览器处理这些情况都不会构成问题。不过你可能在某些时候需要通过程序来访问这样的一些页面,比如从别人的网页中“偷”一些数据;利用某些站点提供的页面来完成某种功能,例如说我们想知道某个手机号码的归属地而我们自己又没有这样的数据,因此只好借助其他公司已有的网站来完成这个功能,这个时候我们需要向网页提交手机号码并从返回的页面中解析出我们想要的数据来。如果对方仅仅是一个很简单的页面,那我们的程序会很简单,本文也就没有必要大张旗鼓的在这里浪费口舌。但是考虑到一些服务授权的问题,很多公司提供的页面往往并不是可以通过一个简单的URL就可以访问的,而必须经过注册然后登录后方可使用提供服务的页面,这个时候就涉及到COOKIE问题的处理。我们知道目前流行的动态网页技术例如ASP、JSP无不是通过COOKIE来处理会话信息的。为了使我们的程序能使用别人所提供的服务页面,就要求程序首先登录后再访问服务页面,这过程就需要自行处理cookie,想想当你用java.net.HttpURLConnection来完成这些功能时是多么恐怖的事情啊!况且这仅仅是我们所说的顽固的WEB服务器中的一个很常见的“顽固”!再有如通过HTTP来上传文件呢?不需要头疼,这些问题有了“它”就很容易解决了!  

我们不可能列举所有可能的顽固,我们会针对几种最常见的问题进行处理。当然了,正如前面说到的,如果我们自己使用java.net.HttpURLConnection来搞定这些问题是很恐怖的事情,因此在开始之前我们先要介绍一下一个开放源码的项目,这个项目就是Apache开源组织中的httpclient,它隶属于Jakarta的commons项目,目前的版本是2.0RC2。commons下本来已经有一个net的子项目,但是又把httpclient单独提出来,可见http服务器的访问绝非易事。

Commons-httpclient项目就是专门设计来简化HTTP客户端与服务器进行各种通讯编程。通过它可以让原来很头疼的事情现在轻松的解决,例如你不再管是HTTP或者HTTPS的通讯方式,告诉它你想使用HTTPS方式,剩下的事情交给httpclient替你完成。本文会针对我们在编写HTTP客户端程序时经常碰到的几个问题进行分别介绍如何使用httpclient来解决它们,为了让读者更快的熟悉这个项目我们最开始先给出一个简单的例子来读取一个网页的内容,然后循序渐进解决掉前进中的所有问题。
1.  读取网页(HTTP/HTTPS)内容
下面是我们给出的一个简单的例子用来访问某个页面
  /**//*
 * Created on 2003-12-14 by Liudong
 */

package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;
/** *//**
 * 最简单的HTTP客户端,用来演示通过GET或者POST方式访问某个页面
 * @author Liudong
 */
public class SimpleClient ...{
    public static void main(String[] args) throws IOException
    ...{
        HttpClient client = new HttpClient();   
        //设置代理服务器地址和端口     
     //client.getHostConfiguration().setProxy("proxy_host_addr",proxy_port);
        //使用GET方法,如果服务器需要通过HTTPS连接,那只需要将下面URL中的http换成https
        HttpMethod method = new GetMethod("http://java.sun.com";); 
        //使用POST方法
     //HttpMethod method = new PostMethod("http://java.sun.com";); 
        client.executeMethod(method);
        //打印服务器返回的状态
     System.out.println(method.getStatusLine());
       //打印返回的信息
     System.out.println(method.getResponseBodyAsString());
       //释放连接
     method.releaseConnection();
    }
} 在这个例子中首先创建一个HTTP客户端(HttpClient)的实例,然后选择提交的方法是GET或者POST,最后在HttpClient实例上执行提交的方法,最后从所选择的提交方法中读取服务器反馈回来的结果。这就是使用HttpClient的基本流程。其实用一行代码也就可以搞定整个请求的过程,非常的简单!

2.  以GET或者POST方式向网页提交参数
其实前面一个最简单的示例中我们已经介绍了如何使用GET或者POST方式来请求一个页面,本小节与之不同的是多了提交时设定页面所需的参数,我们知道如果是GET的请求方式,那么所有参数都直接放到页面的URL后面用问号与页面地址隔开,每个参数用&隔开,例如:http://java.sun.com?name=liudong&mobile=123456,但是当使用POST方法时就会稍微有一点点麻烦。本小节的例子演示向如何查询手机号码所在的城市,代码如下:
/**//*
 * Created on 2003-12-7 by Liudong
 */
package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;
/** *//**
 * 提交参数演示
 * 该程序连接到一个用于查询手机号码所属地的页面
 * 以便查询号码段1330227所在的省份以及城市
 * @author Liudong
 */

public class SimpleHttpClient ...{
    public static void main(String[] args) throws IOException
    ...{
        HttpClient client = new HttpClient();
        client.getHostConfiguration().setHost("www.imobile.com.cn", 80, "http");
        HttpMethod method = getPostMethod();//使用POST方式提交数据
     client.executeMethod(method);
       //打印服务器返回的状态
     System.out.println(method.getStatusLine());
       //打印结果页面
    String response =   new String(method.getResponseBodyAsString().getBytes("8859_1"));
       //打印返回的信息
     System.out.println(response);
        method.releaseConnection();
    }
    /** *//**
     * 使用GET方式提交数据
   * @return
     */
    private static HttpMethod getGetMethod()...{
        return new GetMethod("/simcard.php?simcard=1330227");
    }
    /** *//**
     * 使用POST方式提交数据
   * @return
     */
    private static HttpMethod getPostMethod()...{
        PostMethod post = new PostMethod("/simcard.php");
        NameValuePair simcard = new NameValuePair("simcard","1330227");
        post.setRequestBody(new NameValuePair[] ...{ simcard});
        return post;
    }
} 在上面的例子中页面http://www.imobile.com.cn/simcard.php需要一个参数是simcard,这个参数值为手机号码段,即手机号码的前七位,服务器会返回提交的手机号码对应的省份、城市以及其他详细信息。GET的提交方法只需要在URL后加入参数信息,而POST则需要通过NameValuePair类来设置参数名称和它所对应的值

3.  处理页面重定向

在JSP/Servlet编程中response.sendRedirect方法就是使用HTTP协议中的重定向机制。它与JSP中的<jsp:forward  …>的区别在于后者是在服务器中实现页面的跳转,也就是说应用容器加载了所要跳转的页面的内容并返回给客户端;而前者是返回一个状态码,这些状态码的可能值见下表,然后客户端读取需要跳转到的页面的URL并重新加载新的页面。就是这样一个过程,所以我们编程的时候就要通过HttpMethod.getStatusCode()方法判断返回值是否为下表中的某个值来判断是否需要跳转。如果已经确认需要进行页面跳转了,那么可以通过读取HTTP头中的location属性来获取新的地址。

状态码
 对应HttpServletResponse的常量
 详细描述
 
301
 SC_MOVED_PERMANENTLY
 页面已经永久移到另外一个新地址
 
302
 SC_MOVED_TEMPORARILY
 页面暂时移动到另外一个新的地址
 
303
 SC_SEE_OTHER
 客户端请求的地址必须通过另外的URL来访问
 
307
 SC_TEMPORARY_REDIRECT
 同SC_MOVED_TEMPORARILY


下面的代码片段演示如何处理页面的重定向
client.executeMethod(post);
        System.out.println(post.getStatusLine().toString()); 
        post.releaseConnection();
        //检查是否重定向
     int statuscode = post.getStatusCode();
        if ((statuscode == HttpStatus.SC_MOVED_TEMPORARILY) ||
            (statuscode == HttpStatus.SC_MOVED_PERMANENTLY) ||
            (statuscode == HttpStatus.SC_SEE_OTHER) ||
            (statuscode == HttpStatus.SC_TEMPORARY_REDIRECT)) 
        ...{//读取新的URL地址
         Header header = post.getResponseHeader("location");
              if (header != null) ...{
                 String newuri = header.getValue();
                 if ((newuri == null) || (newuri.equals("")))
                      newuri = "/"; 
               GetMethod redirect = new GetMethod(newuri);
               client.executeMethod(redirect);
                System.out.println("Redirect:"+ redirect.getStatusLine().toString()); 
                redirect.releaseConnection();
            } else ...{
               System.out.println("Invalid redirect");
        } 我们可以自行编写两个JSP页面,其中一个页面用response.sendRedirect方法重定向到另外一个页面用来测试上面的例子。

4.  模拟输入用户名和口令进行登录

本小节应该说是HTTP客户端编程中最常碰见的问题,很多网站的内容都只是对注册用户可见的,这种情况下就必须要求使用正确的用户名和口令登录成功后,方可浏览到想要的页面。因为HTTP协议是无状态的,也就是连接的有效期只限于当前请求,请求内容结束后连接就关闭了。在这种情况下为了保存用户的登录信息必须使用到Cookie机制。以JSP/Servlet为例,当浏览器请求一个JSP或者是Servlet的页面时,应用服务器会返回一个参数,名为jsessionid(因不同应用服务器而异),值是一个较长的唯一字符串的Cookie,这个字符串值也就是当前访问该站点的会话标识。浏览器在每访问该站点的其他页面时候都要带上jsessionid这样的Cookie信息,应用服务器根据读取这个会话标识来获取对应的会话信息。

对于需要用户登录的网站,一般在用户登录成功后会将用户资料保存在服务器的会话中,这样当访问到其他的页面时候,应用服务器根据浏览器送上的Cookie中读取当前请求对应的会话标识以获得对应的会话信息,然后就可以判断用户资料是否存在于会话信息中,如果存在则允许访问页面,否则跳转到登录页面中要求用户输入帐号和口令进行登录。这就是一般使用JSP开发网站在处理用户登录的比较通用的方法。

这样一来,对于HTTP的客户端来讲,如果要访问一个受保护的页面时就必须模拟浏览器所做的工作,首先就是请求登录页面,然后读取Cookie值;再次请求登录页面并加入登录页所需的每个参数;最后就是请求最终所需的页面。当然在除第一次请求外其他的请求都需要附带上Cookie信息以便服务器能判断当前请求是否已经通过验证。说了这么多,可是如果你使用httpclient的话,你甚至连一行代码都无需增加,你只需要先传递登录信息执行登录过程,然后直接访问想要的页面,跟访问一个普通的页面没有任何区别,因为类HttpClient已经帮你做了所有该做的事情了,太棒了!下面的例子实现了这样一个访问的过程。
/**//*
 * Created on 2003-12-7 by Liudong
 */
package http.demo;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.cookie.*;
import org.apache.commons.httpclient.methods.*;
/** *//**
 * 用来演示登录表单的示例
 * @author Liudong
 */
public class FormLoginDemo ...{
    static final String LOGON_SITE = "localhost";
    static final int    LOGON_PORT = 8080;
    public static void main(String[] args) throws Exception...{
        HttpClient client = new HttpClient();
        client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);
        //模拟登录页面login.jsp->main.jsp
        PostMethod post = new PostMethod("/main.jsp");
        NameValuePair name = new NameValuePair("name", "ld");     
        NameValuePair pass = new NameValuePair("password", "ld");     
        post.setRequestBody(new NameValuePair[]...{name,pass});
       int status = client.executeMethod(post);
       System.out.println(post.getResponseBodyAsString());
       post.releaseConnection();  
       //查看cookie信息
    CookieSpec cookiespec = CookiePolicy.getDefaultSpec();
      Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies());
       if (cookies.length == 0) ...{
           System.out.println("None");    
       } else ...{
           for (int i = 0; i < cookies.length; i++) ...{
              System.out.println(cookies[i].toString());    
           }
      }
       //访问所需的页面main2.jsp
        GetMethod get = new GetMethod("/main2.jsp");
        client.executeMethod(get);
        System.out.println(get.getResponseBodyAsString());
        get.releaseConnection();
    }
} 5.  提交XML格式参数

提交XML格式的参数很简单,仅仅是一个提交时候的ContentType问题,下面的例子演示从文件文件中读取XML信息并提交给服务器的过程,该过程可以用来测试Web服务。
import java.io.File;
import java.io.FileInputStream;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.EntityEnclosingMethod;
import org.apache.commons.httpclient.methods.PostMethod;
/** *//**
 * 用来演示提交XML格式数据的例子
 */
public class PostXMLClient ...{
    public static void main(String[] args) throws Exception ...{
        File input = new File(“test.xml”);
        PostMethod post = new PostMethod(“http://localhost:8080/httpclient/xml.jsp”);
        // 设置请求的内容直接从文件中读取
     post.setRequestBody(new FileInputStream(input));
        if (input.length() < Integer.MAX_VALUE) 
           post.setRequestContentLength(input.length());
        else           
           post.setRequestContentLength(EntityEnclosingMethod.CONTENT_LENGTH_CHUNKED);
        // 指定请求内容的类型
     post.setRequestHeader("Content-type", "text/xml; charset=GBK");
        HttpClient httpclient = new HttpClient(); 
        int result = httpclient.executeMethod(post); 
        System.out.println("Response status code: " + result);
        System.out.println("Response body: ");
        System.out.println(post.getResponseBodyAsString());
        post.releaseConnection();
    }
} 6.  通过HTTP上传文件

httpclient使用了单独的一个HttpMethod子类来处理文件的上传,这个类就是MultipartPostMethod,该类已经封装了文件上传的细节,我们要做的仅仅是告诉它我们要上传文件的全路径即可,下面的代码片段演示如何使用这个类。

MultipartPostMethod filePost = new MultipartPostMethod(targetURL);
filePost.addParameter("fileName", targetFilePath);
HttpClient client = new HttpClient();
//由于要上传的文件可能比较大,因此在此设置最大的连接超时时间
client.getHttpConnectionManager().getParams().setConnectionTimeout(5000);
int status = client.executeMethod(filePost); 上面代码中,targetFilePath即为要上传的文件所在的路径。

7.  访问启用认证的页面

我们经常会碰到这样的页面,当访问它的时候会弹出一个浏览器的对话框要求输入用户名和密码后方可,这种用户认证的方式不同于我们在前面介绍的基于表单的用户身份验证。这是HTTP的认证策略,httpclient支持三种认证方式包括:基本、摘要以及NTLM认证。其中基本认证最简单、通用但也最不安全;摘要认证是在HTTP  1.1中加入的认证方式,而NTLM则是微软公司定义的而不是通用的规范,最新版本的NTLM是比摘要认证还要安全的一种方式。

下面例子是从httpclient的CVS服务器中下载的,它简单演示如何访问一个认证保护的页面:
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.UsernamePasswordCredentials;
import org.apache.commons.httpclient.methods.GetMethod;
public class BasicAuthenticationExample ...{
   public BasicAuthenticationExample() ...{
    }
   public static void main(String[] args) throws Exception ...{
       HttpClient client = new HttpClient();
        client.getState().setCredentials(
            "www.verisign.com",
            "realm",
            new UsernamePasswordCredentials("username", "password")
        );
        GetMethod get = new GetMethod("https://www.verisign.com/products/index.html";);
        get.setDoAuthentication( true );
        int status = client.executeMethod( get );
        System.out.println(status+""+ get.getResponseBodyAsString());
        get.releaseConnection();
    }
} 8.  多线程模式下使用httpclient

多线程同时访问httpclient,例如同时从一个站点上下载多个文件。对于同一个HttpConnection同一个时间只能有一个线程访问,为了保证多线程工作环境下不产生冲突,httpclient使用了一个多线程连接管理器的类:MultiThreadedHttpConnectionManager,要使用这个类很简单,只需要在构造HttpClient实例的时候传入即可,代码如下:
MultiThreadedHttpConnectionManager connectionManager = 
   new MultiThreadedHttpConnectionManager();
HttpClient client = new HttpClient(connectionManager); 

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/jadesun/archive/2006/11/23/1406959.aspx

 

分享到:
评论
1 楼 cnpoint 2011-12-05  

相关推荐

    java http 发送xml报文(java发送xml报文实例+参数)

    本篇文章将深入探讨如何在Java中利用HTTP协议发送XML报文,并通过实例和参数解析具体实现步骤。 首先,我们需要引入Java的HttpURLConnection类,这是Java标准库提供的HTTP客户端接口。发送XML报文通常涉及到POST或...

    Java中使用xpath获取xml中的数据

    下面是一段简单的示例代码,展示了如何在Java中使用XPath获取XML数据: ```java import javax.xml.parsers.DocumentBuilderFactory; import javax.xml.parsers.DocumentBuilder; import org.w3c.dom.Document; ...

    Java访问WebService返回XML数据的方法

    Java访问WebService返回XML数据的方法是Java开发者在与Web服务交互时常见的需求,特别是当Web服务以XML格式提供数据时。本篇文章将详细讲解如何通过Java实现这一过程,并介绍相关的技术点。 首先,为了访问...

    Java与XML读写之DOM篇

    DOM(Document Object Model)是一种在Java中处理XML的标准方法,它将XML文档转换为一棵对象树,使得我们可以方便地访问和修改XML数据。下面将详细阐述DOM模型、解析过程以及如何在Java中使用DOM进行XML读写。 DOM...

    获取xml文件中标签所对应的数据

    本篇将详细介绍如何在Java中获取XML文件中特定标签所对应的数据。 首先,我们需要了解XML的基本结构。XML文档由元素(Element)、属性(Attribute)和文本内容组成。元素是XML文档的主体,通过标签(Tag)来定义。...

    封装了读取XML数据的java类

    本篇文章将详细探讨如何封装一个读取XML数据的Java类,并介绍相关的技术背景和实现步骤。 首先,我们需要了解XML(eXtensible Markup Language)的基本概念。XML是一种标记语言,用于描述数据的结构和内容。与HTML...

    Java实现XML导入不同数据库,从数据库导出数据到XML

    本篇文章将详细讲解如何利用Java技术,特别是JDOM库,来实现在不同数据库间XML数据的导入与导出,并结合Ajax技术进行前端交互。 首先,我们来了解XML(Extensible Markup Language)的基础知识。XML是一种用于存储...

    Java 解析xml 存入mongodb 返回org.json json包

    - 定义一个Java对象来映射XML数据的结构,比如`MyData`,包含字段以匹配XML元素。 - 在解析XML时,根据接收到的元素信息创建`MyData`对象实例。 - 使用MongoDB的`MongoDatabase`和`MongoCollection`接口,创建...

    Java解析XML

    总的来说,Java提供了丰富的库和API来解析XML,选择哪种方法取决于具体需求,如文件大小、性能要求、是否需要流式处理,以及是否需要将XML数据绑定到Java对象。理解每种方法的工作原理和适用场景是成功处理XML的关键...

    JAVA对象与XML互转

    在Java编程中,将对象转换为XML以及将XML数据转换回对象是常见的需求,尤其是在处理配置文件、数据交换或持久化存储时。本篇将详细探讨这个主题,讲解如何使用Java进行XML与对象的互转。 一、Java对象转XML 1. **...

    okHttp访问返回JSON,XML解析实例

    本篇将详细讲解如何使用OkHttp进行网络访问,并解析返回的JSON与XML数据。 首先,我们需要了解OkHttp的基本用法。OkHttp是一个异步的HTTP客户端,它通过减少网络延迟和内存使用来提高性能。创建一个OkHttpClient...

    XML.rar_XML SAX_XML java_dom xml_java xml_java解析xml

    - 访问XML数据:通过`Document`对象的`getElementsByTagName()`、`getFirstChild()`等方法遍历并获取元素、属性和文本。 2. SAX解析: SAX(Simple API for XML)是一种基于事件驱动的解析方式,它不会一次性加载...

    java获取天气预报

    本篇将深入探讨两种实现方式:通过HTTP客户端请求API接口获取XML数据以及利用HTMLUnit解析网页源码抓取天气信息。 首先,我们来看第一种方法,通过HTTP客户端请求中央气象台API接口获取XML数据。Java提供了多种HTTP...

    java实现xml的生成、解析等各种操作

    例如,用户发送一个包含XML数据的POST请求,servlet可以解析这个XML并根据内容执行相应的业务逻辑,然后返回结果,也可以生成XML响应。 ```java import javax.servlet.*; import javax.servlet.http.*; import java...

    java解析excel并做数据有效性校验

    在Java编程中,解析Excel文件是一项常见的任务,特别是在数据处理、报表生成或数据分析等领域。Excel文件格式主要有两种:老式的`.xls`(基于BIFF格式)和较新的`.xlsx`(基于Open XML标准)。本篇将详细介绍如何...

    xml2excel,java解析xml文件

    本篇文章将详细介绍如何在Java中解析XML文件,并以“xml2excel”为例,探讨如何将XML数据转换为Excel格式。 首先,我们需要了解Java中解析XML的基本方法。Java内置了两个主要的API用于XML解析:DOM(Document ...

    Java与XML联合编程之DOM篇.doc

    Java与XML联合编程的核心在于将XML文档转换为可操作的对象模型,这就是DOM(Document Object Model)的作用。...通过理解和熟练使用DOM,开发者可以有效地处理XML数据,将其整合到各种Java应用程序中。

    Java解析wsdl文档获取具体的方法与参数

    Java作为一种广泛使用的编程语言,提供了处理WSDL文档的能力,帮助开发者获取服务中的方法和参数信息。本篇将深入探讨如何在Java中解析WSDL文档并提取关键细节。 首先,理解WSDL文档的结构至关重要。WSDL文档包含了...

    Java解析调用webservice服务的返回XML串详解

    在Java中,调用Web Service服务并解析返回的XML数据是一项常见的任务。Web Service通常以SOAP(Simple Object Access Protocol)消息的形式返回数据,这些消息包含了封装在XML结构中的业务信息。本篇将深入讲解如何...

Global site tag (gtag.js) - Google Analytics