`

HttpClient的超时,以及jdk的调试

阅读更多
最近开发一个东西,需要用到HttpClient。这个库目前最新的版本是httpcomponents-client-4.2.1,是基于httpcomponents-core-4.2.1的,该库在版本升级过程中,发生过比较大的变动。之前这个库叫做HttpClient,现在统称为HttpComponents,拆分成了client和core,应该是重新写过

我遇到的问题,是不知道怎么配置超时时间,因为API的变化比较大,以前的方法,在这个新的版本里不好使了。

查了一下,发现超时包括ConnectionTimeout和SocketTimeout,这点和老版本一样,分别用于设置建立HTTP连接超时的时间,以及从响应中读取数据超时的时间。用
CoreConnectionPNames.CONNECTION_TIMEOUT


CoreConnectionPNames.SO_TIMEOUT

进行定义

变化比较大的,是设置的方法,不再提供setTimeout()之类的方法。这个版本里所有的配置,都是通过HttpParams这个组件来配置的,然后可以附着在HttpClient上,或者HttpRequest上。在HttpRequest上的设置,优先于HttpClient的全局设置

除了HttpClient和HttpRequest的HttpParams之外,还有另外2个HttpParams,最终都是聚合在ClientParamsStack里
public class ClientParamsStack extends AbstractHttpParams {

    /** The application parameter collection, or <code>null</code>. */
    protected final HttpParams applicationParams;

    /** The client parameter collection, or <code>null</code>. */
    protected final HttpParams clientParams;

    /** The request parameter collection, or <code>null</code>. */
    protected final HttpParams requestParams;

    /** The override parameter collection, or <code>null</code>. */
    protected final HttpParams overrideParams;

一起提供运行时参数,有先后顺序
public Object getParameter(String name) {
        if (name == null) {
            throw new IllegalArgumentException
                ("Parameter name must not be null.");
        }

        Object result = null;

        if (overrideParams != null) {
            result = overrideParams.getParameter(name);
        }
        if ((result == null) && (requestParams != null)) {
            result = requestParams.getParameter(name);
        }
        if ((result == null) && (clientParams != null)) {
            result = clientParams.getParameter(name);
        }
        if ((result == null) && (applicationParams != null)) {
            result = applicationParams.getParameter(name);
        }
        return result;
    }

可以看到,requestParams是优先于clientParams的。

这段代码也有一点可以借鉴一下,当我们自己写代码,可能重复设置某一属性时,可以是将优先级高的属性放在前面,跳过后面的设置。也可以将优先级高的属性放在后面,覆盖掉前面的设置。这里用的是第一种方法,而且避免对属性的重复设置

因此在这个版本的HttpClient里,设置超时时间的方法,是这样的:
HttpGet httpget = new HttpGet("http://www.baidu.com");
httpget.getParams().setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 5000);
httpget.getParams().setParameter(CoreConnectionPNames.SO_TIMEOUT, 3000);

将建立HTTP连接的超时时间设置为5秒,读取响应的超时时间设置为3秒

但是实际运行后,我发现我设置的HTTP超时时间是5秒,但是实际上10秒才会超时。如果设置超时时间是2秒,就实际上4秒才会超时。实际超时时间,是我设置的2倍,为了搞清楚是怎么回事,只好打了断点跟踪进去,果然发现了问题

在DefaultClientConnectionOperator中有一行这样的代码:
InetAddress[] addresses = resolveHostname(target.getHostName());

这句执行之后,addresses的结果是:
[www.baidu.com/61.135.169.125, www.baidu.com/61.135.169.105]

原来通过DNS查询,我输入的域名www.baidu.com,返回了2个地址。

然后接下来的代码,会对2个地址都尝试建立连接,每次尝试的超时时间都是5秒,当所有连接都失败之后,才会抛出ConnectTimeoutException。所以实际超时时间,就成了我设置的2倍

此外,我的方法其实设置了HttpRequestInterceptor,但是实际并没有执行,因为请求拦截器的调用,是发生在建立连接成功之后的。这里在建立连接时就超时了,所以HttpRequestInterceptor并没有执行的机会

这个问题至此就定位完成了,可以总结几点:

1、CoreConnectionPNames.CONNECTION_TIMEOUT定义的是建立HTTP连接超时的时间,CoreConnectionPNames.SO_TIMEOUT定义的是读取response超时的时间

2、设置是通过HttpParams来完成的,HttpRequest的设置,优先于HttpClient的设置

3、URI如果设置为域名,那可能会解析出多个地址,那么实际超时时间,就会是设置超时时间的若干倍

4、HttpRequestInterceptor的调用,是发生在连接建立成功之后的

另外接下来说说debug相关的事情。在定位这个问题的时候,我发现InetAddress这个类,我断点跟不进去,这个类位于rt.jar的java.net包里,按理说是应该能跟进去的。

检查了一下,发现是eclipse的设置有错,Preferences-->Java-->Installed JREs里,我设置成了jre的路径,实际上要设置成jdk的路径

这样就可以跟进InetAddress这个类了,不过发现方法参数的名字都是看不见的,临时变量也看不见

这还debug个鬼啊,表示很不开心,就查了一下资料http://hllvm.group.iteye.com/group/topic/25798

原来product版的JDK,都是非debug版本的,最终生成的.class,没有包含LocalVariableTable信息,看一下jdk的编译脚本:
# Any debug build should include all debug info inside the classfiles  
ifeq ($(VARIANT), DBG)  
  DEBUG_CLASSFILES = true  
endif  
ifeq ($(DEBUG_CLASSFILES),true)  
  JAVACFLAGS_COMMON += -g  
endif  
  
JAVACFLAGS     = $(JAVACFLAGS_COMMON) $(OTHER_JAVACFLAGS)  
JAVAC_CMD      = $(JAVAC) $(JIT_OPTION) $(JAVACFLAGS) $(LANGUAGE_VERSION) $(CLASS_VERSION) 

如果是product版的jdk,编译语句里是没有加-g参数的,所以编译出来的.class文件,只有LineNumberTable,没有LocalVariableTable,所以在debug的时候,就看不到本地变量了(包括方法参数,和临时变量)

那要解决的方法,要么自己编译一份-g的jdk,要么直接下载debug版的jdk。不过公司没有编译jdk的环境,所以我就去下了一份debug版jdk。这样debug都可以一路跟到底了,只有native method没有办法。debug jdk的下载地址:http://jdk6.java.net/download.html

总结来说,.java在编译的时候,需要加上-g参数,编译出的.class才会包含LocalVariableTable信息,以进行调试

引申一下,我们平时用Eclipse写的代码,可以直接调试,是因为Eclipse默认会让编译器带上调试信息,设置的地方在Preferences-->Java-->Compiler

所以,用Eclipse写的代码,默认就是可以直接调试的

最后,Eclipse不是用javac来编译java源码的,而是用自己的编译器,ECJ,这个编译器也支持-g参数
  • 大小: 96.4 KB
  • 大小: 65.5 KB
  • 大小: 146.7 KB
分享到:
评论

相关推荐

    最全最新httpclient4.3.3

    3. 源代码:通过阅读源代码,开发者可以理解HttpClient内部的工作机制,以及如何实现自定义功能。 六、最佳实践 1. 使用连接池:HttpClient支持连接池,可提高并发性能并减少资源消耗。 2. 正确处理异常:对可能...

    金蝶云K3Cloud接口

    - **环境配置**:Java开发者可以使用JDK和相关HTTP客户端库(如Apache HttpClient或OkHttp)进行接口开发。 - **调用接口**:使用HttpURLConnection或第三方库发送请求,处理响应数据,Java的JSON库如Jackson或...

    对接金蝶的demo,帮助快速对接金蝶webapi

    金蝶通常会提供详细的API参考,包括每个API的URL、请求方法、所需参数以及返回的数据格式。这些信息对于正确构建和发送请求至关重要。你需要了解金蝶Web API的认证机制,可能是基于OAuth 2.0或者其他认证方式,以...

    爬虫jar包.rar

    5. **异常处理和并发编程**:爬虫在运行过程中可能会遇到各种问题,如超时、网络中断、服务器错误等,因此需要良好的异常处理机制。此外,为了提高爬取效率,常使用多线程或多进程并发抓取。 6. **jar包**:.jar...

    金山文档中台对接v6 java

    当遇到网络异常、超时或金山文档服务器返回错误时,我们可能需要进行重试,同时提供详细的错误日志,以便于调试和问题排查。 最后,为了提高代码的可维护性和可测试性,推荐采用面向接口的编程,使用设计模式如工厂...

    精通ANDROID 3(中文版)1/2

    2.1.1 下载JDK 6  2.1.2 下载Eclipse 3.6  2.1.3 下载Android SDK  2.1.4 命令行窗口  2.1.5 安装ADT  2.2 了解基本组件  2.2.1 View  2.2.2 Activity  2.2.3 Intent  2.2.4 ContentProvider  ...

    精通Android 3 (中文版)2/2

    2.1.1 下载JDK 6  2.1.2 下载Eclipse 3.6  2.1.3 下载Android SDK  2.1.4 命令行窗口  2.1.5 安装ADT  2.2 了解基本组件  2.2.1 View  2.2.2 Activity  2.2.3 Intent  2.2.4 ContentProvider  ...

    Spider2Mysql:测试持久化爬虫数据到MySql中

    4. **异常处理**:处理网络连接错误、超时和其他可能的运行时问题。 **MySQL数据库连接** 为了将爬取的数据存储到MySQL,你需要使用Java的JDBC(Java Database Connectivity)API。这包括以下步骤: 1. **加载...

Global site tag (gtag.js) - Google Analytics