论坛首页 Java企业应用论坛

windows下对chunked模式web services做服务集群的一些问题

浏览 1872 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2011-04-06   最后修改:2011-04-10
公司的产品各个分布式组件之间使用基于xfire的web service进行行为触发和信息传递。
之前一直通过网络层虚拟IP工具进行集群,因本人最近要搭建一套开发的测试环境,但硬件集群昂贵,所以想通过Web server反向代理来实现局域网内地址和端口的转发。

备选有两个:nginx和apache,下面做一些探索和分析,希望对大家有帮助

nginx这个反向代理的工具不错,但是就是不支持chunked post
查了一下,可以通过一些第三方的module解决,原理是把chunked request,拦截并聚合成单一的request,再进行转发。
但是问题是这样处理后header保留的Transfer-Encoding header会导致服务端解析错误(服务端又当成chunked处理了)
于是就需要另一个module,拦截并去掉header里的Transfer-Encoding标记

下一个问题是官方只支持核心的module,并且对于windows只提供build,不提供build环境
没办法,用cygwin,需要用到的库有pcre,perl的正则库,然后把上面说的两个module:
HttpChunkinModule和HttpHeadersMoreModule的src下载下来,configure的时候加上

configure参数如下:
$ ./configure --prefix=. --sbin-path=nginx --add-module=./chunk/ --add-module=.
/header-cut/ --with-cc-opt="-D FD_SETSIZE=2048" --with-pcre=./pcre/
然后make make install,最后把程序运行的依赖的dll从cygwin拷贝出来就可以了

这样子试过之后,发现还是不能解决问题,通过wireshark抓包发现原因是chunked请求被合并了,但是头采用的是mtom xop协议,服务端会默认采用chunked来解析,这时又丢失了boundary。
不知道通过修改header能不能解决这个问题,原理是把xop协议相关的头修改成普通的soap协议头

没办法,只能选择apache了,apache2.2默认即支持chunked的反向代理,只需enable相关模块,并配置proxypass即可,这个不需要什么改动,就不赘言了。

结论,对于use了mtom和chunked-enabled的web services请求进行load-balance时,暂时nginx还没有很好的支持,建议直接采用apache2。
否则,就把这两个特性关了吧。

P.S
为什么非要用Windows,因为公司设备监护人员暂时不能管理linux设备,一是操作要求高,二是安全方案的一致性
   发表时间:2011-04-07   最后修改:2011-04-08
其实我还在想一个问题,就是chunked + xop 模式的优缺点在哪里,如果所有web service都默认采用chunked模式请求,固然默认提供了对binary的传递支持,但是等于又封装了一层编码和解码的工作量,这样对于大量的短的文本请求,效率上是不利的,但是目前我没有数据做支撑,回头做一些压力测试,看一看。
-----------------
update:
3000次hello world调用,非chunked模式可以省一半的时间。
另测试环境在本机,不经过网卡,在真实环境下,I/O应该是更大的负担
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics