- 浏览: 73101 次
- 性别:
- 来自: 北京
-
最新评论
慢连接&LazyParser
慢连接&LazyParser
Author:放翁（文初）
Mail:fangweng@taobao.com
Tblog:weibo.com/fangweng
这里要从实际的测试中给Web应用开发者一个比较直观的关于慢连接优化的建议。
测试目标：
1． 证明慢连接对于Java的应用容器的影响。
2． 不同前端反向代理服务器对于慢连接的处理差异。
3． 如何利用LazyParser的方式来优化慢连接请求（特别是大数据量的一些异常请求的处理）
测试部署环境描述：
Apache服务器（2.2.19版本）配置基本没变，增加了http proxy模块作为反向代理。
Nginx服务器（1.0.4版本）配置基本没变，增加了反向代理。
Jetty服务器（7.1.6版本）配置基本没变。Jetty的Lazy解析缓存为8k。
部署如下，外部请求可以通过三个入口访问应用真实逻辑。（apache,nginx,jetty）
测试代码：
服务端：
简单描述一下逻辑：
1. 根据http消息头判断采用lazy还是普通方式解析。
2. 输出start test表示开始。
3. 获取key1,key2的内容，并记录消耗时间输出phase 1 use:xxx作为获取这两个参数的消耗。
4. 获取key4的内容，并记录消耗时间输出phase 2 use:xxx作为获取这个参数的消耗。
5. 获取key3的内容，并记录整个请求消耗的时间，输出end total use:xxx，作为整个处理消耗的时间。
客户端代码：
1． 配置不同入口访问应用。
2． 是否设置使用lazy的http header来引导服务端处理。
3． 构建参数集合，参数顺序为（key1,key2,key3,key4）。其中key3作为一个大数据字段可变，用于多个场景测试。
测试结果及分析：
1． 设置key3大小为1000个char，对比多个场景：
a. 不用lazy解析模式
(1) 通过nginx访问：
Nginx日志（第一位是消耗时间单位秒）：0.002 115.193.162.12 - - [20/Jun/2011:10:50:44 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 19 "-" "Jakarta Commons-HttpClient/3.0.1" "-"
Jetty日志：
start test: not use lazy
phase 1 use :0
phase 2 use :1
end total use:1
(2) 通过 apache访问：
Apache日志：（第二位消耗时间单位微秒）：0 3513 115.193.162.12 - - [20/Jun/2011:10:53:24 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 9
Jetty日志：
start test: not use lazy
phase 1 use :0
phase 2 use :0
end total use:0
(3) 直接访问jetty：
Jetty日志：
start test: not use lazy
phase 1 use :1
phase 2 use :0
end total use:1
b. 用lazy解析模式
同样是上面三种模式，web容器的日志就不写出来了结果一样，下面主要是贴一下应用服务器的情况:
----------------------------------------------------jetty
start test : uselazy
Jun 20, 2011 10:57:24 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1019
phase 1 use :1
Jun 20, 2011 10:57:24 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :0
end total use:1
-----------------------------------------------------------nginx
start test : uselazy
Jun 20, 2011 10:58:37 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1019
phase 1 use :0
Jun 20, 2011 10:58:37 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :0
end total use:0
-----------------------------------------------------------apache
start test : uselazy
Jun 20, 2011 10:58:45 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1019
phase 1 use :0
Jun 20, 2011 10:58:45 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :1
end total use:1
上面的输出增加了一些，其实lazyparser在逐块解析字节流的时候每次装载数据的输出，lazyparser的缓冲区当前设置最大为8k，根据上面的情况可以看到不论哪一种方式，数据一次性都被装载，不存在后端处理的差异。
2． 设置key3大小为100000个char，对比多个场景：
a. 不用lazy解析模式
(1) 通过nginx访问：
Nginx日志（第一位是消耗时间单位秒）：1.528 115.193.162.12 - - [20/Jun/2011:11:05:34 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 19 "-" "Jakarta Commons-HttpClient/3.0.1" "-"（消耗时间大幅上升）
Jetty日志：
start test: not use lazy
phase 1 use :5
phase 2 use :0
end total use:6
(2) 通过 apache访问：
Apache日志：（第二位消耗时间单位微秒）：1 1502243 115.193.162.12 - - [20/Jun/2011:11:07:10 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 9
Jetty日志：
start test: not use lazy
phase 1 use :609
phase 2 use :0
end total use:609
(3) 直接访问jetty：
Jetty日志：
start test: not use lazy
phase 1 use :1463
phase 2 use :0
end total use:1463
从上面几个数据来看，首先不论哪个入口进去，总的时间处理都在1.5秒左右（我的网络状况还是比较烂），但nginx的数据堆积效果对jetty起到了明显的保护作用，使得jetty整个容器线程池生命周期较短，可以处理更多的请求，apache数据堆积不是全量堆积，因此对于jetty来说还需要自身的一些堆积处理（这点在后面的lazy模式下将会更加直观的看到过程）
b. 用lazy解析模式
(1) 通过nginx访问：
Nginx日志（第一位是消耗时间单位秒）：1.513 115.193.162.12 - - [20/Jun/2011:11:13:22 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 19 "-" "Jakarta Commons-HttpClient/3.0.1" "-"（消耗时间大幅上升）
Jetty日志：
start test : uselazy
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 5911
phase 1 use :1
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 8192
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 3996
Jun 20, 2011 11:13:22 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :7
end total use:8
从上面的结果可以看到，nginx的数据堆积效果很好，jetty都是塞满lazyparser的缓存大小来处理的，所以Java IO次数少，整体消耗时间短。
(2) 通过 apache访问：
Apache日志：（第二位消耗时间单位微秒）：1 1521576 115.193.162.12 - - [20/Jun/2011:11:16:37 -0400] "POST /cometpipe/slowtest?key1=1 HTTP/1.1" 200 9
Jetty日志：
start test : uselazy
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 5787
phase 1 use :1
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 2405
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:13,count: 8096
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:280,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:6,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:13,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:10,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:265,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:7,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:13,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:7,count: 8192
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 448
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:6,count: 6419
Jun 20, 2011 11:16:38 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :627
end total use:628
可以看到第一阶段处理由于是lazy的模式，没有像普通请求处理那样消耗都在第一阶段，而是把消耗时间落在了真正要拿那些数据处理的第二阶段，同时可以看到apache有满cache和非满cache的数据后传，同时由于是变积累边传递，每次后传所消耗的时间都要远大于nginx，因此对于jetty的保护较弱。（所以如果你不是用mod_jk去直接反向代理到后段的应用容器（jboss,tomcat,jetty）都会使得应用服务器load比较高，线程生命周期长了，线程切换频繁）
(3) 直接访问jetty：
Jetty日志：
start test : uselazy
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1217
phase 1 use :1
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:294,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:309,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:46 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:287,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:4,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:3,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:273,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:16,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:2,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:246,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:23,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:1,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 1440
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: 882
Jun 20, 2011 11:22:47 AM com.taobao.top.xbox.framework.http.LazyParser readBytes
SEVERE: timconsume:0,count: -1
phase 2 use :1532
end total use:1533
上面的输出大家会看到虽然我给了8k的lazy解析缓冲区，但是每次过来的数据都是1440，这个数字的含义大家可以去查一下TCP传输的数据包大小定义。可以看到，其实如果网络速度不佳，我们就会一个一个的得到数据包，Java IO次数及每次消耗的时间都会较长，同时这也是直接把Java应用服务器对外接收请求在高并发，慢请求的状况下，系统压力会远高于前端假设反向代理http服务器。
总结：
测试很简单，但说明了几个问题：
1. 互联网上的请求和内网测试环境完全是两码事情（如果你还打算支持mobile）。
2. Nginx和apache作为反向代理，对于后端的web容器的处理是有一定帮助的，特别是nginx，作为数据堆积和海量连接的并发支持能够很好的充分利用后端应用服务器的线程资源。
3. 不论哪一种模式，总体请求时间都是差不多的，因此RT在后端资源不是瓶颈的时候，不会由于你架设了反向代理而得到优化，反而会有所增长（毕竟多了一层中转）
4. Lazy处理可以极大提高串行化分阶段处理的性能（特别是在没有数据堆积的情况下或者是apache这样的半数据堆积的情况下，在nginx模式下失效）。比如一个很大的请求，如果在第一阶段就被判断系统参数校验错误，那么后续的请求数据将直接拒绝（或者类似于有图片大小限制或者是图片个数限制的判断）。
5. 应用服务器（jetty,tomcat,jboss等等）不论使用nio或者bio模式，在慢连接的情况下都会有不小的性能消耗。
对于开放平台来说，每天处理几十亿的api call，和普通的web应用不同，每一次请求的时间就贯穿于容器对于数据流的载入，处理，一点优化都可以极大地提高整体的处理能力和资源使用效率，当前开放平台采用nginx+jetty，虽然可以保护到jetty对于高并发的慢连接支持，但是整体的响应时间及资源消耗状况都没有被充分利用到（虽然Lazy解析已经被装配上，apache+jboss时代比较有效果），因此后续考虑要做三种改进：1.让nginx支持部分数据堆积模式。2.优化jetty的bio模式的nio。3.替换掉jetty的nio模块（netty）。最终不是让前端采用部分堆积，就是直接暴露应用容器到外部，再加上lazyparser，来完成对于慢连接的优化。
发表评论
相关推荐
“LazyParser.NET”和“SharpTemplate.NET”可能是项目中使用的两个组件或子模块，前者可能是一个懒加载解析器，用于提高性能，后者可能是用于生成动态HTML模板的库。而“ProMesh.NET”可能是一个项目的主干代码文件...
吴伟（lazyparser）是目前仓库的主要维护者。具体介绍可以从 看到。PLCT实验室 全称是程序语言与编译技术实验室。PLCT致力于成为编译技术领域的开源领导者，推进开源工具链及运行时系统等软件基础设施的技术革新，...
内容概要：本文详细介绍了欧姆龙NJ系列PLC与多个品牌总线设备（如汇川伺服、雷赛步进控制器、SMC电缸等）的控制程序及其配置方法。重点讨论了PDO映射、参数配置、单位转换、故障排查等方面的实际经验和常见问题。文中提供了具体的代码示例，帮助读者理解和掌握这些复杂系统的调试技巧。此外，还特别强调了不同品牌设备之间的兼容性和注意事项，以及如何避免常见的配置错误。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些需要进行PLC与总线设备集成工作的专业人士。 使用场景及目标：适用于需要将欧姆龙NJ PLC与其他品牌总线设备集成在一起的应用场景，如工厂自动化生产线、机器人控制等。主要目标是提高系统的可靠性和效率，减少调试时间和成本。 其他说明：文章不仅提供了理论知识，还包括大量来自实际项目的实践经验，有助于读者更好地应对现实中的挑战。建议读者在实践中不断积累经验，逐步掌握各种设备的特点和最佳实践。
数字化企业转型大数据解决方案.pptx
内容概要：本文详细介绍了利用MATLAB实现多智能体系统一致性算法在电力系统分布式经济调度中的应用。文中通过具体的MATLAB代码展示了如何将发电机组和柔性负荷视为智能体，通过局部通信和协商达成全局最优调度。核心算法通过迭代更新增量成本和增量效益，使各个节点在无中央指挥的情况下自行调整功率，最终实现经济最优分配。此外，文章还讨论了通信拓扑对收敛速度的影响以及一些工程优化技巧，如稀疏矩阵存储和自适应参数调整。 适合人群：从事电力系统调度、分布式控制系统设计的研究人员和技术人员，尤其是对多智能体系统和MATLAB编程有一定了解的人群。 使用场景及目标：适用于希望提高电力系统调度效率、降低成本并增强系统鲁棒性的应用场景。主要目标是在分布式环境下实现快速、稳定的经济调度，同时减少通信量和计算资源消耗。 其他说明：文章提供了详细的代码示例和测试结果，展示了算法的实际性能和优势。对于进一步研究和实际应用具有重要参考价值。
获取虎牙直播流地址的油猴脚本，可以直接使用VLC等播放器打开地址播放。
内容概要：本文详细介绍了如何利用MATLAB进行价格型需求响应的研究，特别是电价弹性矩阵的构建与优化。文章首先解释了电价弹性矩阵的概念及其重要性，接着展示了如何通过MATLAB代码实现弹性矩阵的初始化、负荷变化量的计算以及优化方法。文中还讨论了如何通过非线性约束和目标函数最小化峰谷差，确保用户用电舒适度的同时实现负荷的有效调节。此外，文章提供了具体的代码实例，包括原始负荷曲线与优化后负荷曲线的对比图，以及基于历史数据的参数优化方法。 适合人群：从事电力系统优化、能源管理及相关领域的研究人员和技术人员。 使用场景及目标：适用于希望深入了解并掌握价格型需求响应机制的专业人士，旨在帮助他们更好地理解和应用电价弹性矩阵，优化电力系统的负荷分布，提高能源利用效率。 其他说明：文章强调了实际应用中的注意事项，如弹性矩阵的动态校准和用户价格敏感度的滞后效应，提供了实用的技术细节和实践经验。
CSP-J 2021 初赛真题.pdf
内容概要：本文详细介绍了如何利用麻雀优化算法（SSA）与长短期记忆网络（LSTM）相结合，在MATLAB环境中构建一个用于时间序列单输入单输出预测的模型。首先简述了SSA和LSTM的基本原理，接着逐步讲解了从数据准备、预处理、模型构建、参数优化到最后的预测与结果可视化的完整流程。文中提供了详细的MATLAB代码示例，确保读者能够轻松复现实验。此外，还讨论了一些关键参数的选择方法及其对模型性能的影响。 适合人群：对时间序列预测感兴趣的科研人员、研究生以及有一定编程基础的数据分析师。 使用场景及目标：适用于需要对单变量时间序列数据进行高精度预测的应用场合，如金融、能源等领域。通过本篇文章的学习，读者将掌握如何使用MATLAB实现SSA优化LSTM模型的具体步骤和技术要点。 其他说明：为了提高模型的泛化能力，文中特别强调了数据预处理的重要性，并给出了具体的实现方式。同时，针对可能出现的问题，如过拟合、梯度爆炸等，也提供了一些建议性的解决方案。
内容概要：本文详细介绍了西门子S7-1200 PLC与施耐德ATV310/312变频器通过Modbus RTU进行通讯的具体实现步骤和调试技巧。主要内容涵盖硬件接线、通讯参数配置、控制启停、设定频率、读取运行参数的方法以及常见的调试问题及其解决方案。文中提供了具体的代码示例，帮助读者理解和实施通讯程序。此外，还强调了注意事项，如地址偏移量、数据格式转换和超时匹配等。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些需要将西门子PLC与施耐德变频器进行集成的工作人员。 使用场景及目标：适用于需要通过Modbus RTU协议实现PLC与变频器通讯的工程项目。目标是确保通讯稳定可靠，掌握解决常见问题的方法，提高调试效率。 其他说明：文中提到的实际案例和调试经验有助于读者避免常见错误，快速定位并解决问题。建议读者在实践中结合提供的代码示例和调试工具进行操作。
本文详细介绍了Scala语言的基础知识和特性。Scala是一种运行在JVM上的编程语言，兼具面向对象和函数式编程的特点，适合大数据处理。其环境配置需注意Java版本和路径问题。语言基础涵盖注释、变量、数据类型、运算符和流程控制。函数特性包括高阶函数、柯里化、闭包、尾递归等。面向对象方面，Scala支持继承、抽象类、特质等，并通过包、类和对象实现代码组织和管理，同时提供了单例对象和伴生对象的概念。
内容概要：本文详细探讨了石墨烯-金属强耦合拉比分裂现象的研究，主要借助Comsol多物理场仿真软件进行模拟。文章首先介绍了拉比分裂的基本概念，即当石墨烯与金属相互靠近时，原本单一的共振模式会分裂成两个，这种现象背后的电磁学和量子力学原理对于开发新型光电器件、高速通信设备等意义重大。接着阐述了Comsol在研究中的重要作用，包括构建石墨烯-金属相互作用模型、设置材料属性、定义边界条件、划分网格以及求解模型的具体步骤。此外，还展示了具体的建模示例代码，并对模拟结果进行了深入分析，解释了拉比分裂现象的形成机理。最后强调了该研究对未来技术创新的重要价值。 适合人群：从事物理学、材料科学、光电工程等领域研究的专业人士，尤其是对石墨烯-金属强耦合感兴趣的科研工作者。 使用场景及目标：适用于希望深入了解石墨烯-金属强耦合拉比分裂现象的研究人员，旨在帮助他们掌握Comsol仿真工具的应用技巧，提高研究效率，推动相关领域的创新发展。 其他说明：文中提供的代码片段和建模思路可供读者参考实践，但需要注意实际应用时需根据具体情况调整参数配置。
内容概要：本文详细介绍了基于FPGA的电机控制系统的设计与实现，重点探讨了Verilog和Nios II软核相结合的方式。具体来说，编码器模块利用Verilog实现了高精度的四倍频计数，解决了AB相信号的跳变问题；坐标变换部分则由Nios II软核负责，通过C语言实现Clarke变换和Park变换，提高了计算效率；SVPWM生成模块采用了Verilog硬件加速，优化了调制波的生成时间和波形质量。此外，文章还讨论了Nios II和Verilog之间的高效交互方式，如自定义指令和DMA传输，以及中断处理机制，确保系统的实时性和稳定性。文中提到的一些优化技巧，如定点数运算、查表法、流水线设计等，进一步提升了系统的性能。 适合人群：具有一定FPGA和嵌入式开发经验的研发人员，尤其是对电机控制感兴趣的工程师。 使用场景及目标：适用于需要高性能、低延迟的电机控制应用场景，如工业自动化、机器人、无人机等领域。目标是帮助读者掌握FPGA与Nios II结合的电机控制方法，提高系统的实时性和可靠性。 其他说明：文章提供了详细的代码片段和优化建议，有助于读者理解和实践。同时，文中提及了一些常见的调试问题及其解决方案，如符号位处理不当导致的电机反转、数据溢出等问题，提醒读者在实际项目中加以注意。
内容概要：本文档《ATK-DLRK3568嵌入式Qt开发实战V1.2》是正点原子出品的一份面向初学者的嵌入式Qt开发指南，主要内容涵盖嵌入式Linux环境下Qt的安装配置、C++基础、Qt基础、多线程编程、网络编程、多媒体开发、数据库操作以及项目实战案例。文档从最简单的“Hello World”程序开始，逐步引导读者熟悉Qt开发环境的搭建、常用控件的使用、信号与槽机制、UI设计、数据处理等关键技术点。此外，文档还提供了详细的项目实战案例，如车牌识别系统的开发，帮助读者将理论知识应用于实际项目中。 适合人群：具备一定Linux和C++基础，希望快速入门嵌入式Qt开发的初学者或有一定开发经验的研发人员。 使用场景及目标： 1. **环境搭建**：学习如何在Ubuntu环境下搭建Qt开发环境，包括安装必要的工具和库。 2. **基础知识**：掌握C++面向对象编程、Qt基础控件的使用、信号与槽机制等核心概念。 3. **高级功能**：理解多线程编程、网络通信、多媒体处理、数据库操作等高级功能的实现方法。 4. **项目实战**：通过具体的项目案例（如车牌识别系统），巩固
内容概要：文章深入探讨了宇树科技人形机器人的技术实力、市场表现及未来前景，揭示其背后是科技创新还是市场炒作。宇树科技，成立于2016年，由90后创业者王兴兴创办，从四足机器人（如Laikago、AlienGo、A1）成功跨越到人形机器人（如H1和G1）。H1具有出色的运动能力和高精度导航技术，G1则专注于娱乐陪伴场景，具备模拟人手操作的能力。市场方面，宇树科技人形机器人因春晚表演而走红，但目前仅限于“极客型”用户购买，二手市场租赁价格高昂。文章认为，宇树科技的成功既源于技术突破，也离不开市场炒作的影响。未来，宇树科技将在工业、服务业、娱乐等多个领域拓展应用，但仍需克服成本、稳定性和安全等方面的挑战。 适合人群：对人工智能和机器人技术感兴趣的科技爱好者、投资者以及相关行业的从业者。 使用场景及目标：①了解宇树科技人形机器人的技术特点和发展历程；②分析其市场表现及未来应用前景；③探讨科技创新与市场炒作之间的关系。 阅读建议：本文详细介绍了宇树科技人形机器人的技术细节和市场情况，读者应关注其技术创新点，同时理性看待市场炒作现象，思考人形机器人的实际应用价值和发展潜力。
C#3-的核心代码以及练习题相关
内容概要：本文详细介绍了一种将麻雀搜索算法（SSA）用于优化支持向量机（SVM）分类的方法，并以红酒数据集为例进行了具体实现。首先介绍了数据预处理步骤，包括从Excel读取数据并进行特征和标签的分离。接着阐述了适应度函数的设计，采用五折交叉验证计算准确率作为评价标准。然后深入探讨了麻雀算法的核心迭代过程，包括参数初始化、种群更新规则以及如何通过指数衰减和随机扰动来提高搜索效率。此外，文中还提到了一些实用技巧，如保存最优参数以避免重复计算、利用混淆矩阵可视化分类结果等。最后给出了完整的代码框架及其在GitHub上的开源地址。 适合人群：具有一定MATLAB编程基础的研究人员和技术爱好者，尤其是对机器学习算法感兴趣的人士。 使用场景及目标：适用于需要解决多分类问题的数据科学家或工程师，旨在提供一种高效且易于使用的SVM参数优化方法，帮助用户获得更高的分类准确性。 其他说明：该方法不仅限于红酒数据集，在其他类似的数据集中同样适用。用户只需确保数据格式正确即可轻松替换数据源。
内容概要：本文详细介绍了如何在MATLAB/Simulink环境中搭建四分之一车被动悬架双质量（二自由度）模型。该模型主要用于研究车辆悬架系统在垂直方向上的动态特性，特别是针对路面不平度引起的车轮和车身振动。文中不仅提供了具体的建模步骤，包括输入模块、模型主体搭建和输出模块的设计，还展示了如何通过仿真分析来评估悬架性能，如乘坐舒适性和轮胎接地性。此外，文章还讨论了一些常见的建模技巧和注意事项，如选择合适的求解器、处理代数环等问题。 适合人群：从事汽车动力学研究的科研人员、高校学生以及对车辆悬架系统感兴趣的工程师。 使用场景及目标：①用于教学目的，帮助学生理解车辆悬架系统的理论知识；②用于科研实验，验证不同的悬架设计方案；③用于工业应用，优化实际车辆的悬架系统设计。 其他说明：本文提供的模型基于MATLAB 2016b及以上版本，确保读者能够顺利重现所有步骤并获得预期结果。同时，文中附带了大量的代码片段和具体的操作指南，便于读者快速上手。
内容概要：本文详细介绍了如何使用COMSOL软件进行光子晶体板谷态特性的建模与仿真。首先，定义了晶格常数和其他关键参数，如六边形蜂窝结构的创建、材料属性的设定以及周期性边界的配置。接下来，重点讲解了网格剖分的方法，强调了自适应网格和边界层细化的重要性。随后，讨论了如何通过参数扫描和频域分析来探索谷态特征，特别是在布里渊区高对称点附近观察到的能量带隙和涡旋结构。最后，提供了关于仿真收敛性和优化技巧的建议，确保结果的可靠性和准确性。 适合人群：从事光子学、电磁学及相关领域的研究人员和技术人员，尤其是对拓扑光子学感兴趣的学者。 使用场景及目标：适用于希望深入了解光子晶体板谷态特性的科研工作者，旨在帮助他们掌握COMSOL的具体应用方法，从而更好地进行相关实验和理论研究。 其他说明：文中不仅提供了详细的代码示例，还穿插了许多形象生动的比喻，使复杂的物理概念变得通俗易懂。同时，强调了仿真过程中需要注意的技术细节，如网格划分、边界条件设置等，有助于避免常见错误并提高仿真的成功率。
内容概要：本文详细介绍了利用有限差分时域法（FDTD）对金纳米球进行米氏散射仿真的全过程。首先，通过Python脚本设置了仿真环境，包括网格精度、材料参数、光源配置等。接着，展示了如何通过近场积分计算散射截面和吸收截面，并进行了远场角分布的仿真。文中还讨论了常见错误及其解决方法，如网格精度不足、边界条件不当等问题。最终，将仿真结果与米氏解析解进行了对比验证，确保了仿真的准确性。 适合人群：从事微纳光学研究的科研人员、研究生以及相关领域的工程师。 使用场景及目标：适用于需要精确模拟纳米颗粒与电磁波相互作用的研究项目，旨在提高仿真精度并验证理论模型。通过本文的学习，可以掌握FDTD仿真的具体实施步骤和技术要点。 其他说明：本文不仅提供了详细的代码示例，还分享了许多实践经验，帮助读者避免常见的仿真陷阱。同时强调了参数选择的重要性，特别是在纳米尺度下，每一个参数都需要精心调整以获得准确的结果。