- 浏览: 71125 次
- 性别:
- 来自: 北京
最新评论
文章列表
Web服务请求异步化介绍(实践篇)
Author:放翁(文初)
Date: 2010/8/5
Email:fangweng@taobao.com
围脖: http://t.sina.com.cn/fangweng
在概念篇介绍完以后,开始实际的对TOP开始做技术改造。(这篇东西更像是对短期工作的总结和汇报,写 ...
- 2010-08-06 00:30
- 浏览 440
- 评论(0)
淘宝一年陈
今天在围脖上写了自己快要淘宝一年陈的一点小感想,有几个同学回复了一下,自己觉得还是有很多想说的想写的,趁着夜深人静,记录下来。明年3月就是阿里5年陈了,但在淘宝还是一年陈,经历了三个阿里系的 ...
- 2010-07-24 00:34
- 浏览 547
- 评论(0)
下午在谈交易类服务的时候,除了证书做数字签名以外,也谈到了重放攻击的问题。
对于重放攻击可以通过序列号的方式来判断。
序列号从颁发角度分成:1.服务调用者自身颁发。2.服务提供者颁发。
序列号生成方式分成 ...
- 2010-07-07 00:38
- 浏览 646
- 评论(0)
Author:放翁(文初)
Date: 2010/6/28
Email:fangweng@taobao.com
围脖: http://t.sina.com.cn/fangweng
前话
在前面的文章中,先给出了Web服务请求异步处理的压力测试报告,从数据角度描述了支持Web请求异步化的容器在不同并发用户下的处理能力及性能消耗。本文从概念的角度对于应用系统异步化,Web服务请求异步化和
- 2010-06-30 02:23
- 浏览 621
- 评论(0)
Author:放翁(文初)
Date: 2010/4/14
Email:fangweng@taobao.com
围脖
: http://t.sina.com.cn/fangweng
这部分是结果,大家可以当看倒序的电影,后续会有前篇给出。
Web
服务异步化
:
包括两部分,数据传输层异步化(大家已经熟知的
NIO),
Http业务请求异步化(
continuations,
servlet3.0)。服务异步处理我将会有一个详细的说明文档(服务异步化的概念,服务异步化的几种标准实现,服务异步化容器的特点),后续给出。
Web
服务异步化测 ...
前一阵子配合一个ISV一直在查访问TOP服务链接被重置的问题,当时认为是SDK的问题,因此我就将SDK的数据链路层代码单独剥离出来给ISV测试,没有发现链接重置的问题。在加上部分业务代码以后,有出现服务重置,但是概率很低 ...
- 2010-06-09 13:34
- 浏览 563
- 评论(0)
一个开发者的疑问:应用程序会调用TOP的API去执行任务,首先根据单个任务执行时间很长,其次在用户量增加的时候线程并发量很大,出现连接重置等网络问题。
回答:1.合理切割任务,将任务粒度放小,减小事务时间,提高事务执行成功率,降低回滚代价。2.合并任务中重复的内容,在时间间隔容许的范围内,减少可能重复的操作。3.看是否有批量操作接口,减少单个循环调用次数。4.控制工作线程池线程个数,根据实际性能和对方服务器处理能力设置并行任务个数。
第四点在说明一下:线程并发开的越多未必成功率越高:首先本地资源有限(开的越多线程,本地GC回收频率越高,影响执行速度,效率反而降低)其次,对方可能会由于你的ip ...
- 2010-06-07 21:49
- 浏览 549
- 评论(0)
Author:
放翁(文初)
Mail:fangweng@taobao.com
围脖:
http://t.sina.com.cn/fangweng
(多加一个围脖,也潮一把)
接上半部分内容:
产品化
09
年
8
月,阿里软件被多家子公司合并,我主动要求从云公司来到淘宝,因为我还有没有完成的目标,开放平台,同时也只有在这里我才会体会到产品化的含义,踏踏实实的在我
30
岁的时候经历一个产品,而不在存粹的技术实验室中打滚。
开放平台两三点感悟
Author:放翁(文初)
Mail:fangweng@taobao.com
围脖:http://t.sina.com.cn/fangweng (多加一个围脖,也潮一把)
有淘宝的同学在旺旺上和我说,你最近很少写blog了哈,是不是忙着照顾孩子啊,我尴尬的笑了笑。是的,照顾“小孩”,自己家的小孩和开放平台这个小孩。以前人家说,三十而立,我今年虚岁33了,儿子就快能够“立”起来了,一直想写点技术和生活的体会,但是总少一些冲动。今天就下面这张图,让我突然想写点什么。
- 2010-05-28 02:15
- 浏览 620
- 评论(0)
先说一下具体的原因:数据交互中,其中一方单独认为业务交互失败,逻辑回收而非物理关闭复用的信道,另一方在完成业务操作时将业务数据再次推送到已经被逻辑回收的通道上,会导致请求和相应错位。代码层设计问题:1. 信道一次业务交互中的多次消息交互缺少唯一的会话码,导致中间任何一次交互出现问题,后续的数据会错位到后续复用此信道其他请求中。2. 底层信道的回收,异常处理,没有在信道层直接处理,而是将错误通过业务堆栈抛到最外层ajp协议解析线程管理池去做,导致不论是业务捕获异常或者是servlet,spring框架捕获异常都会出现串号。解决方法:1. 在协议层增加会话码,发现会话错位,关闭信道。2. 让底层信道 ...
- 2010-05-11 11:23
- 浏览 581
- 评论(0)
Author:放翁(文初)
Date: 2010/4/14
Email:fangweng@taobao.com
缘起
早在两年前做开放平台的时候,由于平台的特质,就开始寻求对于Web请求异步的解决方案,当时Jetty和Tomcat都在最新的版本中集成类似于Comet和Asyn Process的功能,但经过测试,效果不佳,因此也没有再深入去了解其中的一些设计理念。时隔两年,依然在做开放平台,但当研究twitter和facebook api
- 2010-04-20 08:47
- 浏览 552
- 评论(0)
Author:放翁(文初)
Date:2010/4/2
过年到现在还没有更新过blog,就和年前说的一样,到了淘宝就要真的踏实做实事了(起码Q3前)。和以前在阿软不同的是现在更加关注产品的设计和实现,对于新技术的尝试缺少了一些空间和时 ...
- 2010-04-02 01:57
- 浏览 401
- 评论(0)
优化杂谈
Author :放翁
Blog:http://blog.csdn.net/cenwenchu79/
当应用遇到规模化问题的时候,就是考虑性能优化的时候了。今天同事和我聊起了NIO在客户端的使用与BIO有什么优势,也勾起了我前一阵子和其他同学交流优化的一些想法,纯粹个人的一点想法。
CPU利用率和
- 2010-01-27 01:43
- 浏览 492
- 评论(0)
基于MapReduce的配置型日志分析组件
Author:放翁(文初)
Email:fangweng@taobao.com
Blog: http://blog.csdn.net/cenwenchu79/
目录
需求场景
组件功能设计关键点
设计点分析
分析模型抽象
分析实体抽象:
分析流程抽象:
关键路径任务分割
分析过程生命周期定义:
基于命令行方式执行阶段性任务
单任务并行处理化
低耦合多机协作
需求场景
从海量的访问日志中分析得到系统健康情况,业务增长趋势。
组件功能设计关键点
- 2010-01-12 21:58
- 浏览 570
- 评论(0)
中午左右收到一个看我blog的朋友的邮件,最近他在研究mapreduce,然后想用hadoop来做一些工作,不过遇到了一些问题,我这边也贴一下他的几个问题,同时觉得自己把自己的一些看法分享一下,当然只是自己的一些想法,也许对 ...