关于storm的complete latency

最近我们的storm在跑的过程中, 发现bolt的complete latency都非常低, 在1ms以下, 而spout却不断的增加, 达到了好几千ms, 最后导致整个spout挂掉(后来发现complete latency不断增加跟fail有关). 这是一个非常严重的问题, 于是在storm-user上google了一把, 发现这里(1,2)已经有了一些答案.

nathan对complete latency也做了一个非常详细的解释:

complete latency(这里主要针对spout)是一个tuple从发出, 到经过bolt处理完成, 最终调用spout的ack这个完整的过程所花的时间.

complete latency和吞吐量可以认为是互斥的, 二者不可兼得, 要提高吞吐量, 必然会增加complete latency, 反之亦然. 所以我们需要根据具体的场景, 在二者之间找到一个平衡.

complete latency受到两个因素的影响:
bolt的处理时间
spout的parallelism数量

关于latency的计算方式, 这里也有说明, 即一个tuple从被接收到被ack所花的时间.

评论

2 楼 影绝 2015-08-13  

你好，我单个bolt的执行时间很短，但是complete latency 却一直很高，我尝试增加了并行度，今晚看看结果如何

1 楼 yuan_yutian 2015-08-05  

大哥 你好：
     我也遇到你这种情况了，我是在storm里运算将数据写入到redis中，spout的complete latency却不断的增加，但是complete latency到200左右的时候spout就挂掉重启了，而不是到几千，按您说的增加了bolt的并发度，也设置了setMaxSpoutPending(1000)，都不好使，spout的complete latency还是会不断增加，然后挂掉，能帮我分析分析吗？非常感谢