`
xyliufeng
  • 浏览: 87254 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

httpclient 读取URL数据

阅读更多
import java.io.IOException;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;


public class h2 {

	/**
	 * @param args
	 * @throws IOException 
	 * @throws HttpException 
	 */
	public static void main(String[] args) throws HttpException, IOException 
	{
		 // TODO Auto-generated method stub
		 System.setProperty( "org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog" );
		
		 HttpClient httpClient = new HttpClient();
		 //创建GET方法的实例
		   GetMethod getMethod = new GetMethod("http://www.dianping.com/search/category/1/10/g0r0");
		  
		  //使用系统提供的默认的恢复策略
		  getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());
		 //模拟浏览器
		  getMethod.setRequestHeader( "User-Agent", "ie"); 
		  
		  int statusCode = httpClient.executeMethod(getMethod);
		   if (statusCode != HttpStatus.SC_OK) 
		   {
		    System.err.println("Method failed: "+ getMethod.getStatusLine());		      
		   }
		   //读取内容 
		  // byte[] responseBody = getMethod.getResponseBody();
		   //处理内容
		  // System.out.println(new String(responseBody));
		   System.out.println(getMethod.getResponseBodyAsString());
		
	}

}
分享到:
评论

相关推荐

    httpclient方式调用url

    5. **处理响应**:从HttpResponse对象中读取响应状态码和数据。例如: ```java StatusLine statusLine = response.getStatusLine(); int statusCode = statusLine.getStatusCode(); ...

    httpClient 调用远程接口 获取数据到本地文件夹

    在这个场景中,我们使用HttpClient来调用远程接口,从电信公司的网站获取可用的新手机号码信息,并将这些数据存储到本地文件中。以下是对这个过程的详细解释: 1. **HttpClient的基本使用**: HttpClient提供了一...

    Java爬虫Jsoup+httpclient获取动态生成的数据

    本文主要讲述如何利用Java编程语言中的Jsoup库和HttpClient工具包来获取和解析动态生成的数据,特别是那些通过JavaScript动态加载的数据。 ### Java爬虫基础 Java爬虫是指使用Java语言编写的一类程序,这些程序...

    HttpClient 获取数据

    在这个项目中,它可能会详细介绍如何利用HttpClient来获取数据,包括设置请求头、参数和处理响应等。 `read.t` 可能是一个错误的文件名,如果是`readme.txt`,则可能是一个简单的文本版本的README,用于那些不支持...

    利用HttpClient获取数据并用Gson解析Json数据

    本教程将专注于使用Apache HttpClient库获取网络数据,然后使用Google的Gson库解析JSON格式的数据。这是一个基础但重要的技能,对于任何想要与服务器进行交互的开发者来说都是必备的。 首先,我们需要了解`...

    httpclient post json 数据

    6. **处理响应**:发送请求后,你可以从响应中获取数据或检查状态码。如果需要,可以使用`response.Content.ReadAsStringAsync()`读取响应内容。 ```csharp string responseContent = await response.Content....

    android:通过httpclient向网络端获取数据的精短小实例

    Android 中使用 HttpClient 获取网络数据的实例 Android 平台中,HttpClient 是一个常用的网络请求组件,通过它可以与远程服务器进行交互,获取所需的数据。在 Android 应用程序中,我们可以使用 HttpClient 来获取...

    通过HTTPClient获取网络资源

    本篇文章将深入探讨如何使用`HttpClient`来获取网络资源,以及处理返回的XML数据。 首先,我们需要了解`HttpClient`的基本用法。在Java中,创建一个`HttpClient`实例是获取网络资源的第一步。`HttpClient`提供了...

    httpclient 获取技术博客列表

    标题中的“httpclient 获取技术博客列表”指的是使用Apache HttpClient库来获取网络上的技术博客列表。HttpClient是一个Java库,它提供了一种丰富的API来执行HTTP请求,包括GET、POST等方法,用于从网页抓取数据。在...

    Http或HttpClient访问网路数据

    GET方法通常用于获取资源,POST用于提交数据,PUT用于更新已有资源。 HttpClient是Java编程语言中的一个库,用于执行HTTP请求并处理响应。Apache HttpClient是其中最常用的实现,它提供了更高级的功能,比如连接...

    httpClient和htmlparse获取网页数据使用jar

    将HttpClient与HtmlParser结合,可以实现从指定URL获取HTML内容并进行解析。首先,使用HttpClient发起HTTP请求并获取响应,然后将响应内容传递给HtmlParser进行解析。例如: ```java CloseableHttpClient ...

    Android例子源码httpclient获取到JSON数据并展示到ListView

    首先,需要创建一个HttpClient对象,然后设置请求方法、URL,最后执行请求获取响应。 2. **处理响应**: - HttpResponse:请求执行后,会返回一个HttpResponse对象,包含HTTP状态码和响应实体。我们需要检查状态码...

    httpClient调用远程接口获取数据到本地文件夹

    在这个例子中,我们使用HttpClient来调用远程接口,从电信公司的网站获取可用手机号码的数据,并将其存储到本地文件系统。以下是对这个过程的详细解释: 1. **HttpClient的引入与配置**: 首先,我们需要在项目中...

    HttpClient

    - `getMethod().getResponseBodyAsStream()`:返回 InputStream 类型的响应体,适用于大文件或流式数据的读取。 5. **释放资源**:在完成请求后,需要调用 `getMethod().releaseConnection()` 方法来释放连接资源。...

    爬数据案例 httpclient htmlparser

    在IT领域,网络爬虫是获取大量数据的重要手段,尤其对于数据分析、研究和自动化信息处理。本案例聚焦于使用Java语言结合`httpclient`库进行网络请求,以及`htmlparser`库解析HTML文档,实现一个基础的爬虫程序。下面...

    httpClient和URLConnection的区别

    1. 获取URL对象并打开连接。 2. 设置HTTP方法(GET或POST)。 3. 设置请求属性,如超时、连接类型等。 4. 发送请求数据(如果需要)。 5. 读取响应。 HttpClient在处理网络异常、超时和多线程方面更强大。对于异常...

    httpClient+jsoup 抓取网页数据

    总之,HttpClient和Jsoup是Java开发者进行网页数据抓取的强大工具。HttpClient提供可靠的HTTP通信,而Jsoup则简化了HTML解析和数据提取的过程。结合两者,你可以高效地从各种网页中获取你需要的信息。在实际项目中,...

    Android高级应用源码-通过httpclient获取到JSON数据,展示到ListView.zip

    这个源码示例"Android高级应用源码-通过httpclient获取到JSON数据,展示到ListView.zip"正是关于这个主题的,它演示了如何使用Apache的HttpClient库从服务器获取JSON数据,并解析这些数据以填充一个ListView。...

    HttpClient异步请求数据

    接着,用HttpClient执行请求并获取HttpResponse。例如: ```java HttpClient httpClient = new DefaultHttpClient(); HttpGet httpGet = new HttpGet("http://example.com"); HttpResponse response = httpClient....

Global site tag (gtag.js) - Google Analytics