资讯频道 → 开源软件
阅读更多

3顶
0踩

开源软件

转载新闻 Twitter即将开源即时数据处理工具Storm

2011-08-05 17:37 by 见习记者 lihuapi 评论(3) 有5269人浏览
Twitter Storm 即时数据处理
开发者的好消息：Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的，后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用：

1. 信息流处理{Stream processing}

Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。

2. 连续计算{Continuous computation}

Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

3. 分布式远程程序调用{Distributed RPC}

Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。

目前即时数据处理工具已经不少了，比如HStreaming（使用Hadoop）、开源的S4和StreamBase，人们还需要一个开源的Storm吗？

来自: 36氪
3
顶
0
踩
评论 共 3 条 请登录后发表评论
3 楼 klose 2011-09-28 09:24
2 楼 diaodou 2011-08-06 11:28
比s4好的地方是，保证消息不丢失
1 楼 xifo 2011-08-06 08:41
只有开源生态系统的持续繁荣，才能获得一个相对公平的软件竞争环境，保持信息处理领域的加速度发展。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Global site tag (gtag.js) - Google Analytics