`
agapple
  • 浏览: 1598206 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

(HttpClient超时机制)timeout调度算法探讨

    博客分类:
  • java
阅读更多

继上一篇文章: HttpClient超时机制(安全问题处理:访问超大文件控制)

 

提到了一个需要管理所有request请求的timeout,原先文章的一种处理方式是起一个异步线程的方式,通过jdk的unsafe的await机制控制timeout。 

 

存在的问题:

1.  创建新线程的开销不小。

2.  大量线程的调度和切换,引起不必要的context switch

 

和同事在沟通的过程中,提到一种新思路,就是有一个monitor线程来管理所有request的timeout。

 

  1. 启动一个monitor thread,是一个while true运行
  2. 每个请求创建之前都先注册到monitor,比如什么时候过期和对应的request句柄,完成后注销。 
  3. 运行的monitor,定时读取注册的request信息,发现有数据过期时间到了,直接拿到request引用,执行强制关闭。

针对monitor timeout调度设计时,也想过几种思路:

 

思路1: 插入o(1) + 调度o(N)+ 主动轮询式

维护一个list队列,monitor线程间隔固定频遍历一次list队列。挑出时间已经过期的数据,执行关闭。

 

思路2: 插入o(logN) + 调度o(1) + 主动轮询式

维护一个有序队列(根据距离过期时间最近做升序排序),monitor线程间隔固定频取出头节点,进行关闭处理。

 

思路3: 插入o(logN) + 调度o(1) + 阻塞通知式

维护一个二叉树(根据距离过期时间最近做升序排序),monitor阻塞于二叉树队列,获取头节点,通过signal方式唤醒。

 

很明显,思路3在处理上比较靠谱,性能上和处理成本比较好。

 

二叉树第一直觉就是选择PriorityQueue或者TreeMap。 

 

PriorityQueue是一个基于object[]数组实现的二叉树,而TreeMap走的是红黑树,比较传统的left,right节点的树实现。

 

考虑再加上timeout时间需要进行delay处理,最后就有一个不二之选DelayQueue了,其内部包含了一个PriorityQueue做为其数据存储。

 

DelayQueue的Item对象是需要实现Delayed接口

 

 

public interface Delayed extends Comparable<Delayed> {

     long getDelay(TimeUnit unit);
}

 说明:getDelay主要返回对应距离目标time还存在剩余的delay时间。这里插入一个request后,立马调用该方法返回的应该就是你想要的timeout时间。

 

 

代码实现:

 

/**
 * 超时控制线程,基于DelayQueue实现的一套超时管理机制
 * 
 * <pre>
 * 几个特点
 * 1. O(logN)的超时控制算法
 * 2. timout处理更精确,时间控制精度为毫秒(ms)
 * 3. thread-safe(线程安全)
 * </pre>
 * 
 * @author jianghang 2011-3-7 下午12:39:17
 */
class HttpTimeoutThread extends Thread {

    // init time for nano
    private static final long                       MILL_ORIGIN = System.currentTimeMillis();
    // thread-safe,定时触发timeout
    private volatile DelayQueue<HttpTimeoutDelayed> queue = new DelayQueue<HttpTimeoutDelayed>();

    public void run() {
        while (true) {
            try {
                HttpTimeoutDelayed delay = this.queue.take();
                delay.doTimeout();
            } catch (InterruptedException e) {
                // ignore interrupt
            }
        }
    }

    public void addHttpRequest(HttpClientRequest request, long timeout) {
        this.queue.put(new HttpTimeoutDelayed(request, timeout));
    }

    // 内部timeout Delay控制
    class HttpTimeoutDelayed implements Delayed {

        private HttpClientRequest request; // 管理对应的request
        private long              now;    // 记录具体request产生时的now的偏移时间点,单位ms
        private long              timeout; // 记录具体需要被delayed处理的偏移时间点,单位ms

        public HttpTimeoutDelayed(HttpClientRequest request, long timeout){
            this.request = request;
            this.timeout = timeout;
            this.now = System.currentTimeMillis() - MILL_ORIGIN;
        }

        /**
         * 对应的超时处理
         */
        public void doTimeout() {
            this.request.forceRelease();// 强制关闭对应的链接
        }

        @Override
        public long getDelay(TimeUnit unit) {
            long currNow = System.currentTimeMillis() - MILL_ORIGIN;
            long d = unit.convert(now + timeout - currNow, TimeUnit.MILLISECONDS);
            return d;
        }

        @Override
        public int compareTo(Delayed other) {
            if (other == this) { // compare zero ONLY if same object
                return 0;
            } else if (other instanceof HttpTimeoutDelayed) {
                HttpTimeoutDelayed x = (HttpTimeoutDelayed) other;
                long diff = now + timeout - (x.now + x.timeout);
                return diff < 0 ? 1 : (diff > 0 ? 1 : (now > x.now ? 1 : -1)); // 相等情况按照插入时间倒序
            } else {
                long d = (getDelay(TimeUnit.MILLISECONDS) - other.getDelay(TimeUnit.MILLISECONDS));
                return (d == 0) ? 0 : ((d < 0) ? -1 : 1);
            }
        }

    }

}
 

 

启动Thread : 

 

private static HttpTimeoutThread timeoutGuard = null;
    static {
        timeoutGuard = new HttpTimeoutThread();
        timeoutGuard.setDaemon(true); // 设置为daemon线程,允许主进程关闭后退出
        timeoutGuard.setName("HttpClientHelper Timeout Guard");
        timeoutGuard.start(); // 启动
    }

//注册request到monitor线程
HttpClientHelper.timeoutGuard.addHttpRequest(request, connectTimeOut + waitDataTimeOut);


后记:

最后思考一下timeout的处理机制,就类似于一个定时器的概念,只不过这个定时器执行一次。所以最后也查了下linux的定时器调度算法,前面3种思路也是大同小异。 

 

现在linux操作系统使用的应该是wheel调度算法,具体可以参看一篇IBM的文章: Linux 下定时器的实现方式分析

 

其对应的几种算法复杂度: 

 

实现方式 StartTimer StopTimer PerTickBookkeeping
基于链表 O(1) O(n) O(n)
基于排序链表 O(n) O(1) O(1)
基于最小堆 O(lgn) O(1) O(1)
基于时间轮 O(1) O(1) O(1)

 

 

ps :  最后感慨一下,java的确给我们封装了很多不错的工具包,比较方便。java.util.*还是有许多比较不错的算法和实现,可以深挖下。

分享到:
评论
14 楼 agapple 2011-03-11  
dennis_zane 写道
Netty3自带了一个timer wheel算法的实现,可以直接扣出来用。不过通常来说,基于优先队列的ScheduleThreadPoolExecutor已经足够用了。


得抽空看看netty的源码实现,一直想看mina和netty的源码可一直没时间
13 楼 hquxiezk 2011-03-11  
过2年看能不能看个明白,呵呵
12 楼 dennis_zane 2011-03-11  
Netty3自带了一个timer wheel算法的实现,可以直接扣出来用。不过通常来说,基于优先队列的ScheduleThreadPoolExecutor已经足够用了。
11 楼 zjhlht 2011-03-11  
确实研究好深,发现能学到的东西不仅仅是这一点啊!
10 楼 agapple 2011-03-11  
frankiegao123 写道
MultiThreadedHttpConnectionManager 对于同一个 HOST,默认只有 2 个 HTTP 连接的池。在大量 HTTP 请求时使用这个就需要调整 HTTP 连接数的,呵呵。


因为我完全是一个对外系统的访问,对应url都是客户输入,重用链接没任何意义,用完一次就可以关闭。

我这里使用MultiThreadedHttpConnectionManager并不是为了共享连接。而是利用了它可以强制关闭链接的功能。

其他我找不到相应的public入口操作http socket链接,不过非正常手段到可以用反射,不是很愿意这么搞。
9 楼 agapple 2011-03-11  
cz2009 写道
我用的是httpclient自带的设置,一个是建立连接时间,一个是读数据时间. 目前表现还好.请问我这样设置有什么缺点?


正如上一篇文件描述的,如果给定的一部电影的url地址,链接会一直不能被关闭,直到数据流被读完,如果来个几十次这样的请求,应用估计也差不多崩溃了。

目前httpClient3.1只支持3种timeout的设置:

connectionTimeout  :  socket建立链接的超时时间,Httpclient包中通过一个异步线程去创建socket链接,对应的超时控制。
timeoutInMilliseconds :  socket read数据的超时时间, socket.setSoTimeout(timeout);
httpConnectionTimeout :  如果那个的是MultiThreadedHttpConnectionManager,对应的是从连接池获取链接的超时时间。

timeoutInMilliseconds就是你说的读取时间,它的定义是多长时间内如果无数据同步就认为超时。但如果是一个超大文件流,每隔1S给你来点数据,所以你这两个设置的时间,很快你的线程就会被一直RUNNING。来个几十请求,系统就差不多over了。

这里我们就需要给整个HttpClient请求做一个总的timeout时间控制,避免出现类似的情况。或者你也可以改写HttpClient关于输出流的实现,但不是很建议。因为HttpClient这样的设计也是有自己一定的理由,它为了链接共享,pooling,支持chunk协议等,就必须在一个请求关闭时把上一次未读完的流数据给消费光。避免对下一次请求的影响
8 楼 cz2009 2011-03-11  
我用的是httpclient自带的设置,一个是建立连接时间,一个是读数据时间. 目前表现还好.请问我这样设置有什么缺点?
7 楼 frankiegao123 2011-03-11  
MultiThreadedHttpConnectionManager 对于同一个 HOST,默认只有 2 个 HTTP 连接的池。在大量 HTTP 请求时使用这个就需要调整 HTTP 连接数的,呵呵。
6 楼 agapple 2011-03-10  
说白了timeout超时扫描,也就是定时Timer的一种特殊应用场景,每个Timer只会触发一次而已。

类似的应用场景蛮多的,特别是在一些异步RPC调用中
5 楼 agapple 2011-03-10  
whaosoft 写道
555 看了上一贴才明白 lz这一贴 哈哈 lz研究东西挺强的 有别的什么联系方式吗


哈,多谢支持。 项目中的需要,为了安全考虑,不然系统容易被人秒杀了。

这也是我同事发现的问题,我负责分析+编码。顺便研究了Linux wheel定时器调度算法,有空也可以实现个简单的。
4 楼 whaosoft 2011-03-10  
555 看了上一贴才明白 lz这一贴 哈哈 lz研究东西挺强的 有别的什么联系方式吗
3 楼 tou3921 2011-03-10  
这种帖子才有思想
2 楼 rgun 2011-03-10  
挖掘的蛮深入的,同顶~~
1 楼 NanguoCoffee 2011-03-10  
给你顶一个

相关推荐

    dotnet 6 使用 HttpClient 的超时机制.rar

    如上所示,可以通过设置`HttpClient`的`Timeout`属性来指定请求超时时间。这是一个`TimeSpan`值,表示在接收到响应或完成请求之前等待的时间。默认值是100秒。 3. **临时覆盖超时**: 在某些情况下,可能需要为单个...

    揭秘JDBC超时机制完整版

    当网络出现问题时,如未设置socket timeout,JDBC连接可能会被长时间阻塞,类似于HttpClient未设置超时的情况。因此,设置合理的socket timeout至关重要,以防止CPU资源过度消耗和应用失去响应。 在应用与数据库间...

    java httpclient设置超时时间和代理的方法

    * setConnectTimeout(int timeout):设置连接到目标 URL 的等待时长,超过这个时间还没连上就抛出连接超时。 * setSocketTimeout(int timeout):设置连接到目标 URL 之后等待返回响应的时长,即超过这个时间就放弃...

    laravel-auth-timeout:Laravel 的身份验证超时

    Laravel Auth Timeout 是一个小型中间件包,用于检查用户是否在一段时间内发出了任何请求。 如果它们已达到空闲时间限制,则它们将在下一个请求时注销。 感谢 Brian Matovu 的。目录重定向AuthTimeout 外观 安装...

    dotnet 6 精细控制 HttpClient 网络请求超时.rar

    1. **Timeout 属性**:HttpClient有一个Timeout属性,可以用来设置整个请求过程的超时时间。这是一个整体超时,包括DNS解析、建立TCP连接、发送请求数据以及接收响应数据等所有步骤。如果在指定时间内没有完成这些...

    C#HTTPclient 实例应用

    同时,可以通过设置`Timeout`属性来控制请求的超时时间。 ```csharp httpClient.Timeout = TimeSpan.FromSeconds(30); // 设置超时时间为30秒 ``` ### 7. 使用DelegatingHandler处理中间件逻辑 `HttpClient`允许...

    对于C#(HttpClient)方式网络请求的封装

    4. **超时设置**:可能会提到如何设置请求超时,以防止因服务器响应过慢导致程序阻塞。 5. **异步编程**:由于Unity游戏引擎推荐使用异步操作以避免阻塞主线程,所以会涉及使用async/await关键字来实现非阻塞的网络...

    resteasy设置timeout

    本篇将详细探讨如何在RESTEasy中设置超时时间,以及相关的源码解析和工具使用。 首先,我们要明白在HTTP通信中设置超时的重要性。超时是为了避免客户端在等待服务器响应时无限期地阻塞,它为请求设定了一个预期的...

    httpclient.jar包下载

    本文将深入探讨httpclient.jar包,以及它与code.jar包的关系,帮助开发者更好地理解和使用这两个组件。 httpclient.jar是Apache HttpClient库的核心组件,它提供了全面的HTTP协议支持,包括HTTP/1.1和部分HTTP/2。...

    httpclient

    本文将深入探讨HttpClient的核心概念、主要功能以及如何有效地使用它。 HttpClient 4.2.5是HttpClient的一个稳定版本,它引入了许多改进和修复,提高了性能和稳定性。同时,HttpClient依赖于HttpCore库,这是Apache...

    HttpClient4.5.1手册

    - **SPNEGO支持:** HttpClient支持SPNEGO认证机制,该机制常用于企业环境中。 - **GSS/Java Kerberos 设置:** 在Java环境中启用Kerberos认证通常需要进行一系列配置。 - **login.conf 文件:** 包含了Kerberos认证...

    httpclient httpclient.jar

    在本文中,我们将深入探讨HttpClient的核心概念、使用方法以及如何通过`httpclient.jar`进行实战应用。 首先,HttpClient的主要组件包括: 1. **HttpClient实例**:这是整个HTTP通信的核心,负责管理连接、请求和...

    httpClient需要的jar包

    10. **性能优化**:通过配置连接超时、响应超时、线程池大小等参数,以及使用合适的连接管理策略,可以进一步优化HttpClient的性能。 在实际使用HttpClient时,需要根据项目需求选择合适的版本,理解其工作原理,...

    HttpClient重新封装的HttpClient类

    本篇文章将深入探讨重新封装的HttpClient类,以及如何利用它进行高效且灵活的网络请求。 首先,我们来看一下`HttpClient`类的基本用法。原生的`HttpClient`类提供了发送GET、POST等不同HTTP方法请求的能力。例如,...

    httpClient

    getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000); // 设置请求重试处理,用的是默认的重试处理:请求三次 getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new ...

    httpclient-4.5.3官方API中文文档_最新译版_2886K

    本文将基于4.5.3版本的HttpClient官方API中文文档,深入探讨其核心概念、使用方法及常见应用场景。 一、HttpClient简介 HttpClient是一款高效的HTTP客户端库,它支持多种HTTP标准,包括HTTP/1.1、HTTP/2以及...

    httpclient所需lib

    在本篇文章中,我们将深入探讨HttpClient的基本概念、功能以及其依赖的jar包。 HttpClient 4.2.1是文中提及的具体版本,它提供了丰富的功能,包括但不限于支持HTTP/1.1协议,支持连接管理,自动处理重定向,支持...

Global site tag (gtag.js) - Google Analytics