Kafka应用--金融行业分布式数据计算

 

股票期货数据数据计算特点：

1. 每只股票或期货账户有许多数据要计算而不涉及其它账户，比如净值、收益率、波动率、夏普值...

2. 账户量一般比较大，有并发处理需求。

3. 不需要Consumer运行完后向producer返回结果。

 

 

而Kafka刚好满足这些需求：

1. 当partition数量大于consumer数据时，可以动态添加多个consumer，起到负载均衡的作用  

参见：http://oracle-api.iteye.com/admin/blogs/2374848 中的  consumer group 与 partition

2. 虽然多个Consumer同时消费一个Group无法保证顺序，但是可以保证每个partition中消息的顺序。使用producer发数据的时候以账户Id的hashcode作为分配到哪个partition的依据，可以保证同一个基金账户的消息顺序。

3. 对于没有及时消费完的message，kafka可起到缓冲的作用。

4. Kafka存储所有历史消息数据，可以随时重头或从某个位置重新读取消息。