- 浏览: 1857456 次
- 性别:
- 来自: 深圳
-
文章分类
- 全部博客 (665)
- 闲话 (17)
- ruby (1)
- javascript (40)
- linux (7)
- android (22)
- 开发过程 (11)
- 哥也读读源代码 (13)
- JVM (1)
- ant (2)
- Hibernate (3)
- jboss (3)
- web service (17)
- https (4)
- java基础 (17)
- spring (7)
- servlet (3)
- 杂记 (39)
- struts2 (10)
- logback (4)
- 多线程 (2)
- 系统诊断 (9)
- UI (4)
- json (2)
- Java EE (7)
- eclipse相关 (4)
- JMS (1)
- maven (19)
- 版本管理 (7)
- sso (1)
- ci (1)
- 设计 (18)
- 戒烟 (4)
- http (9)
- 计划 (4)
- HTML5 (3)
- chrome extensions (5)
- tomcat源码阅读 (4)
- httpd (5)
- MongoDB (3)
- node (2)
最新评论
-
levin_china:
勾选了,还是找不到
用spring annotation声明的bean,当打包在jar中时,无法被扫描到 -
GGGGeek:
我用的maven-3.5.0,还没有遇到这种情况,使用jar ...
用spring annotation声明的bean,当打包在jar中时,无法被扫描到 -
GGGGeek:
受益匪浅,从组织项目结构,到技术细节,讲的很到位,只是博主不再 ...
一个多maven项目聚合的实例 -
Aaron-Joe-William:
<?xml version="1.0" ...
hibernate逆向工程 -
li272355201:
http://archive.apache.org/dist/ ...
tomcat源码阅读(一)——环境搭建
最近开发一个东西,需要用到HttpClient。这个库目前最新的版本是httpcomponents-client-4.2.1,是基于httpcomponents-core-4.2.1的,该库在版本升级过程中,发生过比较大的变动。之前这个库叫做HttpClient,现在统称为HttpComponents,拆分成了client和core,应该是重新写过
我遇到的问题,是不知道怎么配置超时时间,因为API的变化比较大,以前的方法,在这个新的版本里不好使了。
查了一下,发现超时包括ConnectionTimeout和SocketTimeout,这点和老版本一样,分别用于设置建立HTTP连接超时的时间,以及从响应中读取数据超时的时间。用
和
进行定义
变化比较大的,是设置的方法,不再提供setTimeout()之类的方法。这个版本里所有的配置,都是通过HttpParams这个组件来配置的,然后可以附着在HttpClient上,或者HttpRequest上。在HttpRequest上的设置,优先于HttpClient的全局设置
除了HttpClient和HttpRequest的HttpParams之外,还有另外2个HttpParams,最终都是聚合在ClientParamsStack里
一起提供运行时参数,有先后顺序
可以看到,requestParams是优先于clientParams的。
这段代码也有一点可以借鉴一下,当我们自己写代码,可能重复设置某一属性时,可以是将优先级高的属性放在前面,跳过后面的设置。也可以将优先级高的属性放在后面,覆盖掉前面的设置。这里用的是第一种方法,而且避免对属性的重复设置
因此在这个版本的HttpClient里,设置超时时间的方法,是这样的:
将建立HTTP连接的超时时间设置为5秒,读取响应的超时时间设置为3秒
但是实际运行后,我发现我设置的HTTP超时时间是5秒,但是实际上10秒才会超时。如果设置超时时间是2秒,就实际上4秒才会超时。实际超时时间,是我设置的2倍,为了搞清楚是怎么回事,只好打了断点跟踪进去,果然发现了问题
在DefaultClientConnectionOperator中有一行这样的代码:
这句执行之后,addresses的结果是:
[www.baidu.com/61.135.169.125, www.baidu.com/61.135.169.105]
原来通过DNS查询,我输入的域名www.baidu.com,返回了2个地址。
然后接下来的代码,会对2个地址都尝试建立连接,每次尝试的超时时间都是5秒,当所有连接都失败之后,才会抛出ConnectTimeoutException。所以实际超时时间,就成了我设置的2倍
此外,我的方法其实设置了HttpRequestInterceptor,但是实际并没有执行,因为请求拦截器的调用,是发生在建立连接成功之后的。这里在建立连接时就超时了,所以HttpRequestInterceptor并没有执行的机会
这个问题至此就定位完成了,可以总结几点:
1、CoreConnectionPNames.CONNECTION_TIMEOUT定义的是建立HTTP连接超时的时间,CoreConnectionPNames.SO_TIMEOUT定义的是读取response超时的时间
2、设置是通过HttpParams来完成的,HttpRequest的设置,优先于HttpClient的设置
3、URI如果设置为域名,那可能会解析出多个地址,那么实际超时时间,就会是设置超时时间的若干倍
4、HttpRequestInterceptor的调用,是发生在连接建立成功之后的
另外接下来说说debug相关的事情。在定位这个问题的时候,我发现InetAddress这个类,我断点跟不进去,这个类位于rt.jar的java.net包里,按理说是应该能跟进去的。
检查了一下,发现是eclipse的设置有错,Preferences-->Java-->Installed JREs里,我设置成了jre的路径,实际上要设置成jdk的路径
这样就可以跟进InetAddress这个类了,不过发现方法参数的名字都是看不见的,临时变量也看不见
这还debug个鬼啊,表示很不开心,就查了一下资料http://hllvm.group.iteye.com/group/topic/25798
原来product版的JDK,都是非debug版本的,最终生成的.class,没有包含LocalVariableTable信息,看一下jdk的编译脚本:
如果是product版的jdk,编译语句里是没有加-g参数的,所以编译出来的.class文件,只有LineNumberTable,没有LocalVariableTable,所以在debug的时候,就看不到本地变量了(包括方法参数,和临时变量)
那要解决的方法,要么自己编译一份-g的jdk,要么直接下载debug版的jdk。不过公司没有编译jdk的环境,所以我就去下了一份debug版jdk。这样debug都可以一路跟到底了,只有native method没有办法。debug jdk的下载地址:http://jdk6.java.net/download.html
总结来说,.java在编译的时候,需要加上-g参数,编译出的.class才会包含LocalVariableTable信息,以进行调试
引申一下,我们平时用Eclipse写的代码,可以直接调试,是因为Eclipse默认会让编译器带上调试信息,设置的地方在Preferences-->Java-->Compiler
所以,用Eclipse写的代码,默认就是可以直接调试的
最后,Eclipse不是用javac来编译java源码的,而是用自己的编译器,ECJ,这个编译器也支持-g参数
我遇到的问题,是不知道怎么配置超时时间,因为API的变化比较大,以前的方法,在这个新的版本里不好使了。
查了一下,发现超时包括ConnectionTimeout和SocketTimeout,这点和老版本一样,分别用于设置建立HTTP连接超时的时间,以及从响应中读取数据超时的时间。用
CoreConnectionPNames.CONNECTION_TIMEOUT
和
CoreConnectionPNames.SO_TIMEOUT
进行定义
变化比较大的,是设置的方法,不再提供setTimeout()之类的方法。这个版本里所有的配置,都是通过HttpParams这个组件来配置的,然后可以附着在HttpClient上,或者HttpRequest上。在HttpRequest上的设置,优先于HttpClient的全局设置
除了HttpClient和HttpRequest的HttpParams之外,还有另外2个HttpParams,最终都是聚合在ClientParamsStack里
public class ClientParamsStack extends AbstractHttpParams { /** The application parameter collection, or <code>null</code>. */ protected final HttpParams applicationParams; /** The client parameter collection, or <code>null</code>. */ protected final HttpParams clientParams; /** The request parameter collection, or <code>null</code>. */ protected final HttpParams requestParams; /** The override parameter collection, or <code>null</code>. */ protected final HttpParams overrideParams;
一起提供运行时参数,有先后顺序
public Object getParameter(String name) { if (name == null) { throw new IllegalArgumentException ("Parameter name must not be null."); } Object result = null; if (overrideParams != null) { result = overrideParams.getParameter(name); } if ((result == null) && (requestParams != null)) { result = requestParams.getParameter(name); } if ((result == null) && (clientParams != null)) { result = clientParams.getParameter(name); } if ((result == null) && (applicationParams != null)) { result = applicationParams.getParameter(name); } return result; }
可以看到,requestParams是优先于clientParams的。
这段代码也有一点可以借鉴一下,当我们自己写代码,可能重复设置某一属性时,可以是将优先级高的属性放在前面,跳过后面的设置。也可以将优先级高的属性放在后面,覆盖掉前面的设置。这里用的是第一种方法,而且避免对属性的重复设置
因此在这个版本的HttpClient里,设置超时时间的方法,是这样的:
HttpGet httpget = new HttpGet("http://www.baidu.com"); httpget.getParams().setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 5000); httpget.getParams().setParameter(CoreConnectionPNames.SO_TIMEOUT, 3000);
将建立HTTP连接的超时时间设置为5秒,读取响应的超时时间设置为3秒
但是实际运行后,我发现我设置的HTTP超时时间是5秒,但是实际上10秒才会超时。如果设置超时时间是2秒,就实际上4秒才会超时。实际超时时间,是我设置的2倍,为了搞清楚是怎么回事,只好打了断点跟踪进去,果然发现了问题
在DefaultClientConnectionOperator中有一行这样的代码:
InetAddress[] addresses = resolveHostname(target.getHostName());
这句执行之后,addresses的结果是:
[www.baidu.com/61.135.169.125, www.baidu.com/61.135.169.105]
原来通过DNS查询,我输入的域名www.baidu.com,返回了2个地址。
然后接下来的代码,会对2个地址都尝试建立连接,每次尝试的超时时间都是5秒,当所有连接都失败之后,才会抛出ConnectTimeoutException。所以实际超时时间,就成了我设置的2倍
此外,我的方法其实设置了HttpRequestInterceptor,但是实际并没有执行,因为请求拦截器的调用,是发生在建立连接成功之后的。这里在建立连接时就超时了,所以HttpRequestInterceptor并没有执行的机会
这个问题至此就定位完成了,可以总结几点:
1、CoreConnectionPNames.CONNECTION_TIMEOUT定义的是建立HTTP连接超时的时间,CoreConnectionPNames.SO_TIMEOUT定义的是读取response超时的时间
2、设置是通过HttpParams来完成的,HttpRequest的设置,优先于HttpClient的设置
3、URI如果设置为域名,那可能会解析出多个地址,那么实际超时时间,就会是设置超时时间的若干倍
4、HttpRequestInterceptor的调用,是发生在连接建立成功之后的
另外接下来说说debug相关的事情。在定位这个问题的时候,我发现InetAddress这个类,我断点跟不进去,这个类位于rt.jar的java.net包里,按理说是应该能跟进去的。
检查了一下,发现是eclipse的设置有错,Preferences-->Java-->Installed JREs里,我设置成了jre的路径,实际上要设置成jdk的路径

这样就可以跟进InetAddress这个类了,不过发现方法参数的名字都是看不见的,临时变量也看不见

这还debug个鬼啊,表示很不开心,就查了一下资料http://hllvm.group.iteye.com/group/topic/25798
原来product版的JDK,都是非debug版本的,最终生成的.class,没有包含LocalVariableTable信息,看一下jdk的编译脚本:
# Any debug build should include all debug info inside the classfiles ifeq ($(VARIANT), DBG) DEBUG_CLASSFILES = true endif ifeq ($(DEBUG_CLASSFILES),true) JAVACFLAGS_COMMON += -g endif JAVACFLAGS = $(JAVACFLAGS_COMMON) $(OTHER_JAVACFLAGS) JAVAC_CMD = $(JAVAC) $(JIT_OPTION) $(JAVACFLAGS) $(LANGUAGE_VERSION) $(CLASS_VERSION)
如果是product版的jdk,编译语句里是没有加-g参数的,所以编译出来的.class文件,只有LineNumberTable,没有LocalVariableTable,所以在debug的时候,就看不到本地变量了(包括方法参数,和临时变量)
那要解决的方法,要么自己编译一份-g的jdk,要么直接下载debug版的jdk。不过公司没有编译jdk的环境,所以我就去下了一份debug版jdk。这样debug都可以一路跟到底了,只有native method没有办法。debug jdk的下载地址:http://jdk6.java.net/download.html
总结来说,.java在编译的时候,需要加上-g参数,编译出的.class才会包含LocalVariableTable信息,以进行调试
引申一下,我们平时用Eclipse写的代码,可以直接调试,是因为Eclipse默认会让编译器带上调试信息,设置的地方在Preferences-->Java-->Compiler

所以,用Eclipse写的代码,默认就是可以直接调试的
最后,Eclipse不是用javac来编译java源码的,而是用自己的编译器,ECJ,这个编译器也支持-g参数
发表评论
-
system properties和environment properties
2013-06-05 17:00 1878原来我一直都混淆了system properties和envi ... -
instance、Class、Object
2013-05-23 13:07 1934一、实例和类 所有实例都有所属的类;所有类都是Class类的 ... -
类初始化顺序,及获取资源
2013-05-22 11:07 1364最近在读tomcat的源码,涉及到各种类继承体系的初始化,还有 ... -
java的方法调用,参数是按值传递还是按引用传递
2013-05-21 16:55 1385各种语言都涉及到方法 ... -
linux下加载文件资源好纠结呀
2012-12-30 08:07 3707为了给自己添堵,我把 ... -
java io基础知识
2012-12-23 01:35 2310一、char[]、String、byte[] ... -
classloader简介
2012-11-05 13:05 1767一、基本classloader体系 默认有3个classlo ... -
System.getProperty()
2012-10-30 16:58 6854最近看tomcat源码,里面有好多System.getProp ... -
java annotation简介
2012-10-26 16:31 1753开发中自定义annotation的场景不太多,但是很多框架的源 ... -
JPDA简单总结
2012-10-12 15:33 8224我们平时经常使用的debu ... -
几种常用servlet容器开启调试的方法
2012-10-11 17:52 13971、jboss4.2.3.GA 在%JBOSS_HOME%/ ... -
转载:异常处理最佳实践
2012-08-22 17:30 1597本文系全文转载,原文 ... -
java动态代理
2012-08-16 17:16 1542常见的动态代理有2种: 第一种情况,目标类本身实现了某个接口 ... -
classpath
2012-03-25 23:14 1542classpath也是文件系统中的路径,作用是告诉类加载器要到 ... -
java集合
2011-11-27 10:28 12131、集合是一种数据结构,虽然种类不少,但是本质上就是2种,一种 ... -
JAVA类的初始化过程
2011-11-13 21:05 18391、java类中的字段,第 ...
相关推荐
3. 源代码:通过阅读源代码,开发者可以理解HttpClient内部的工作机制,以及如何实现自定义功能。 六、最佳实践 1. 使用连接池:HttpClient支持连接池,可提高并发性能并减少资源消耗。 2. 正确处理异常:对可能...
- **环境配置**:Java开发者可以使用JDK和相关HTTP客户端库(如Apache HttpClient或OkHttp)进行接口开发。 - **调用接口**:使用HttpURLConnection或第三方库发送请求,处理响应数据,Java的JSON库如Jackson或...
金蝶通常会提供详细的API参考,包括每个API的URL、请求方法、所需参数以及返回的数据格式。这些信息对于正确构建和发送请求至关重要。你需要了解金蝶Web API的认证机制,可能是基于OAuth 2.0或者其他认证方式,以...
5. **异常处理和并发编程**:爬虫在运行过程中可能会遇到各种问题,如超时、网络中断、服务器错误等,因此需要良好的异常处理机制。此外,为了提高爬取效率,常使用多线程或多进程并发抓取。 6. **jar包**:.jar...
当遇到网络异常、超时或金山文档服务器返回错误时,我们可能需要进行重试,同时提供详细的错误日志,以便于调试和问题排查。 最后,为了提高代码的可维护性和可测试性,推荐采用面向接口的编程,使用设计模式如工厂...
2.1.1 下载JDK 6 2.1.2 下载Eclipse 3.6 2.1.3 下载Android SDK 2.1.4 命令行窗口 2.1.5 安装ADT 2.2 了解基本组件 2.2.1 View 2.2.2 Activity 2.2.3 Intent 2.2.4 ContentProvider ...
2.1.1 下载JDK 6 2.1.2 下载Eclipse 3.6 2.1.3 下载Android SDK 2.1.4 命令行窗口 2.1.5 安装ADT 2.2 了解基本组件 2.2.1 View 2.2.2 Activity 2.2.3 Intent 2.2.4 ContentProvider ...
4. **异常处理**:处理网络连接错误、超时和其他可能的运行时问题。 **MySQL数据库连接** 为了将爬取的数据存储到MySQL,你需要使用Java的JDBC(Java Database Connectivity)API。这包括以下步骤: 1. **加载...