- 浏览: 623350 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (819)
- java开发 (110)
- 数据库 (56)
- javascript (30)
- 生活、哲理 (17)
- jquery (36)
- 杂谈 (15)
- linux (62)
- spring (52)
- kafka (11)
- http协议 (22)
- 架构 (18)
- ZooKeeper (18)
- eclipse (13)
- ngork (2)
- dubbo框架 (6)
- Mybatis (9)
- 缓存 (28)
- maven (20)
- MongoDB (3)
- 设计模式 (3)
- shiro (10)
- taokeeper (1)
- 锁和多线程 (3)
- Tomcat7集群 (12)
- Nginx (34)
- nodejs (1)
- MDC (1)
- Netty (7)
- solr (15)
- JSON (8)
- rabbitmq (32)
- disconf (7)
- PowerDesigne (0)
- Spring Boot (31)
- 日志系统 (6)
- erlang (2)
- Swagger (3)
- 测试工具 (3)
- docker (17)
- ELK (2)
- TCC分布式事务 (2)
- marathon (12)
- phpMyAdmin (12)
- git (3)
- Atomix (1)
- Calico (1)
- Lua (7)
- 泛解析 (2)
- OpenResty (2)
- spring mvc (19)
- 前端 (3)
- spring cloud (15)
- Netflix (1)
- zipkin (3)
- JVM 内存模型 (5)
- websocket (1)
- Eureka (4)
- apollo (2)
- idea (2)
- go (1)
- 业务 (0)
- idea开发工具 (1)
最新评论
-
sichunli_030:
对于频繁调用的话,建议采用连接池机制
配置TOMCAT及httpClient的keepalive以高效利用长连接 -
11想念99不见:
你好,我看不太懂。假如我的项目中会频繁调用rest接口,是要用 ...
配置TOMCAT及httpClient的keepalive以高效利用长连接
HttpClient client = new HttpClient(); HttpMethod method = new GetMethod("http://www.apache.org"); try { client.executeMethod(method); byte[] responseBody = null; responseBody = method.getResponseBody(); } catch (HttpException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); }finally{ method.releaseConnection(); }
大部分人使用HttpClient都是使用类似上面的事例代码,包括Apache官方的例子也是如此。最近我在使用HttpClient是发现一次循环发送大量请求到服务器会导致APACHE服务器的链接被占满,后续的请求便排队等待。
我服务器端APACHE的配置
Timeout 30 KeepAlive On #表示服务器端不会主动关闭链接 MaxKeepAliveRequests 100 KeepAliveTimeout 180
因此这样的配置就会导致每个链接至少要过180S才会被释放,这样在大量请求访问时就必然会造成链接被占满,请求等待的情况。
在通过DEBUH后发现HttpClient在method.releaseConnection()后并没有把链接关闭,这个方法只是将链接返回给connection manager。如果使用HttpClient client = new HttpClient()实例化一个HttpClient connection manager默认实现是使用SimpleHttpConnectionManager。SimpleHttpConnectionManager有个构造函数如下
/** * The connection manager created with this constructor will try to keep the * connection open (alive) between consecutive requests if the alwaysClose * parameter is set to <tt>false</tt>. Otherwise the connection manager will * always close connections upon release. * * @param alwaysClose if set <tt>true</tt>, the connection manager will always * close connections upon release. */ public SimpleHttpConnectionManager(boolean alwaysClose) { super(); this.alwaysClose = alwaysClose; }
看方法注释我们就可以看到如果alwaysClose设为true在链接释放之后connection manager 就会关闭链。在我们HttpClient client = new HttpClient()这样实例化一个client时connection manager是这样被实例化的
this.httpConnectionManager = new SimpleHttpConnectionManager();
因此alwaysClose默认是false,connection是不会被主动关闭的,因此我们就有了一个客户端关闭链接的方法。
方法一:
把事例代码中的第一行实例化代码改为如下即可,在method.releaseConnection();之后connection manager会关闭connection 。
HttpClient client = new HttpClient(new HttpClientParams(),new SimpleHttpConnectionManager(true) );
方法二:
实例化代码使用:HttpClient client = new HttpClient();
在method.releaseConnection();之后加上
((SimpleHttpConnectionManager)client.getHttpConnectionManager()).shutdown();
shutdown源代码很简单,看了一目了然
public void shutdown() { httpConnection.close(); }
方法三:
实例化代码使用:HttpClient client = new HttpClient();
在method.releaseConnection();之后加上
client.getHttpConnectionManager().closeIdleConnections(0);此方法源码代码如下:
public void closeIdleConnections(long idleTimeout) { long maxIdleTime = System.currentTimeMillis() - idleTimeout; if (idleStartTime <= maxIdleTime) { httpConnection.close(); } }
将idleTimeout设为0可以确保链接被关闭。
以上这三种方法都是有客户端主动关闭TCP链接的方法。下面再介绍由服务器端自动关闭链接的方法。
方法四:
代码实现很简单,所有代码就和最上面的事例代码一样。只需要在HttpMethod method = new GetMethod("http://www.apache.org");加上一行HTTP头的设置即可
method.setRequestHeader("Connection", "close");
看一下HTTP协议中关于这个属性的定义:
HTTP/1.1 defines the "close" connection option for the sender to signal that the connection will be closed after completion of the response. For example,
Connection: close
现在再说一下客户端关闭链接和服务器端关闭链接的区别。如果采用客户端关闭链接的方法,在客户端的机器上使用netstat –an命令会看到很多TIME_WAIT的TCP链接。如果服务器端主动关闭链接这中情况就出现在服务器端。
参考WIKI上的说明http://wiki.apache.org/HttpComponents/FrequentlyAskedConnectionManagementQuestions
The TIME_WAIT state is a protection mechanism in TCP. The side that closes a socket connection orderly will keep the connection in state TIME_WAIT for some time, typically between 1 and 4 minutes.
TIME_WAIT的状态会出现在主动关闭链接的这一端。TCP协议中TIME_WAIT状态主要是为了保证数据的完整传输。具体可以参考此文档:
http://www.softlab.ntua.gr/facilities/documentation/unix/unix-socket-faq/unix-socket-faq-2.html#ss2.7
另外强调一下使用上面这些方法关闭链接是在我们的应用中明确知道不需要重用链接时可以主动关闭链接来释放资源。如果你的应用是需要重用链接的话就没必要这么做,使用原有的链接还可以提供性能。
最近做httpclient做转发服务,发现服务器上总是有很多close_wait状态的连接,而且这些连接都不会关闭,最后导致服务器没法建立新的网络连接,从而停止响应。
后来在网上搜索了一下,发现解决的方法也很简单,如果想重用连接,那就使用连接管理器,从连接管理器里获取连接,然后定时的用连接管理器来释放空闲连接。httpclient自带了SimpleHttpConnectionManager,提供了Java代码
closeIdleConnections(long idleTimeout)
closeIdleConnections(long idleTimeout) 这样的方法。
如果不需要重用链接,则直接在httpmethod创建时,设置一个http头信息就可以了
Java代码
httpmethod.setRequestHeader("Connection", "close");
httpmethod.setRequestHeader("Connection", "close");
这样就不会有恼人的close_wait了。
参考:http://blog.csdn.net/xymyeah/article/details/8910344
发表评论
-
stringentity、urlEncodeFormEntity区别
2018-04-10 20:43 746UrlEncodedFormEntity()的形式比较单一,只 ... -
HttpClient Post 二进制/字节流/byte[]
2018-03-11 23:29 1681http://blog.csdn.net/Sidyhe/art ... -
Socket端口状态说明 LISTENING、ESTABLISHED、TIME_WAIT及CLOSE_WAIT
2017-12-15 19:30 839http://blog.csdn.net/klzyf100/a ... -
java 实现https请求的基本原理与介绍
2017-09-17 23:13 666实现https请求的基本原理与介绍 http://blog.c ... -
wireshark过滤语法总结
2017-08-29 16:14 482wireshark过滤语法总结 http://blog.csd ... -
OkHttp3
2017-08-09 10:22 447http://www.jianshu.com/p/187328 ... -
HttpClient内部三个超时时间的区别
2017-07-22 15:21 16921.HttpClient内部三个超时 ... -
HttpClient 发送 HTTP、HTTPS 请求的简单封装
2017-05-27 11:27 627http://blog.csdn.net/happylee66 ... -
httpclient长链接与短链接
2017-05-27 10:12 1442http://blog.csdn.net/yaoqinggg/ ... -
正确使用ngrok穿透内网
2017-05-27 09:55 623http://blog.csdn.net/jiangbo_ph ... -
伪造Http请求IP地址
2017-05-25 20:18 2068注意:伪造Http请求IP地址一般为非推荐使用手段 一般使用 ... -
HTTP长连接和短连接以及推送技术原理
2017-03-05 22:39 1140http://blog.csdn.net/freewaywal ... -
【HTTP】Fiddler(二) - 使用Fiddler做抓包分析
2017-02-17 08:24 585一.对PC(笔记本)参数进行配置 1. 配置fiddler允许 ... -
fiddler2抓包工具使用图文教程
2016-09-29 16:51 443参考:http://blog.163.com/hlz_2599 ... -
chrome安装插件,安装Postman
2016-09-29 08:56 6591、下载postman插件,可以自己到网上下载,也可以点击ht ... -
tcp三次握手建立连接,四次握手关闭连接
2016-09-12 09:05 50在发送http请求之前,客户端和服务器必须建立tcp三次握手连 ... -
RequestConfig类解析
2016-08-27 17:55 2167这个类位于 org.apache.http.client.co ... -
配置TOMCAT及httpClient的keepalive以高效利用长连接
2016-08-27 17:38 5138总所周知http1.1(http1.0不是标准,依服务器而定) ... -
http的安全方法和幂等性
2016-07-26 14:58 723最近在研究http,看到htt ... -
TCP的三次握手(建立连接)和四次挥手(关闭连接)
2016-05-15 13:01 473http://www.cnblogs.com/Jessy/p/ ...
相关推荐
httpclient jar包——相关jar,用于http相关开发! httpclient jar包——相关jar,用于http相关开发! httpclient jar包——相关jar,用于http相关开发!
在IT行业中,HttpClient是一个常用的Java库,用于执行HTTP和HTTPS请求。这个实例主要涉及如何配置HttpClient来忽略SSL(Secure Socket Layer)...但请记住,忽视SSL验证在生产环境中可能会导致安全隐患,务必谨慎对待。
HTTPClient工具类,完整,HTTPClient工具类,完整,HTTPClient工具类,完整HTTPClient工具类,完整,HTTPClient工具类,完整
HttpAsyncClient连接池的使用,项目中频繁发送http请求,同步http阻塞主线程,影响性能,使用 HttpAsyncClient可使性能提高,这里配合连接池使用,效果更好,同时还附带同步httpClient的连接池使用
《HttpClient 4.4详解——构建高效可靠的网络通信》 HttpClient是Apache软件基金会下的一个开源项目,主要提供了Java语言环境下的HTTP客户端编程接口。HttpClient 4.4版本是该库的一个重要里程碑,它在功能、性能和...
在 HttpClientUtil 中,`EntityUtils` 被用来读取和关闭响应实体。`EntityUtils.toString` 用于将 HttpEntity 转换为字符串,便于进一步解析或操作。 6. **使用示例**: 用户可以调用 `doGetJson` 或 `doPostJson`...
关闭HttpClient日志的logback文件
二、HttpClient核心类——HttpClient `HttpClient`是HttpClient库的核心组件,它是HTTP请求的发起者,负责管理连接、配置策略和执行请求。通过`HttpClient`实例,开发者可以创建并发送HTTP请求,同时接收和解析HTTP...
5. **关闭资源**:执行完请求后,关闭HttpClient和相关连接,释放系统资源。 **四、示例代码** ```java CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet(...
1. **连接管理**:HttpClient通过HttpConnectionManager接口控制HTTP连接的创建、复用和关闭,有效地管理连接池,避免了频繁建立新连接带来的性能开销。 2. **请求和响应模型**:HttpClient使用HttpRequest和...
- **连接管理**:HttpClient 提供了连接池管理器,可以复用已建立的连接,减少网络延迟,提高效率。 - **HTTP 方法**:支持 GET、POST、PUT、DELETE 等多种 HTTP 方法,以及 HEAD、OPTIONS、TRACE 等其他标准方法...
2. **资源管理**:由于HttpClient涉及到网络连接和线程,因此需要正确管理和关闭资源,避免内存泄漏和连接泄露。 3. **异常处理**:HttpClient抛出的异常通常包含了丰富的错误信息,通过捕获和处理这些异常,可以更...
10. **性能优化**:通过配置连接超时、响应超时、线程池大小等参数,以及使用合适的连接管理策略,可以进一步优化HttpClient的性能。 在实际使用HttpClient时,需要根据项目需求选择合适的版本,理解其工作原理,...
通常,我们创建一个HttpClient实例,并设置其配置参数,如连接超时、重试策略等。 2. **HttpHost**:表示目标HTTP服务器的信息,包括主机名、端口和协议(HTTP或HTTPS)。 3. **HttpGet/HttpPost**:这些是执行...
6. **关闭资源**:确保在完成请求后关闭连接,避免资源泄露。 在封装过程中,可能会有以下高级特性的实现: - **连接池管理**:通过`PoolingHttpClientConnectionManager`管理连接,提高性能和并发能力。 - **异步...
- **连接管理器**:管理器允许对连接池进行高级控制,如连接池的创建和关闭、连接的借出和回收、连接回收策略等。 - **代理配置**:在某些情况下,HTTP请求可能需要通过代理服务器,HttpClient提供了灵活的代理配置...
6. **释放资源**:完成操作后,记得关闭连接,释放资源。 Apache Commons HttpClient是一个功能强大且高度可定制的HTTP客户端库,对于Java开发者来说,它是进行HTTP通信的重要工具。其丰富的功能和灵活性使其成为...
这些方法通常会隐藏复杂的HttpClient配置细节,使代码更加简洁易读。 总结起来,`httpclient4.3工具类`是一个针对HttpClient 4.3的自定义包装,它封装了常见的HTTP操作,提供了便捷的接口供项目中使用。理解这个...
- 连接管理器关闭(Connection Manager Shutdown):介绍了如何正确关闭连接管理器,以释放系统资源。 4. 多线程请求执行(Multithreaded Request Execution) - 处理并发请求的策略和方法。 5. 连接驱逐策略...