Twitter即将开源即时数据处理工具Storm

3顶
0踩

2011-08-05 17:37 by 见习记者 lihuapi 评论(3) 有5323人浏览

Twitter Storm 即时数据处理

开发者的好消息：Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的，后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用：

1. 信息流处理{Stream processing}

Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。

2. 连续计算{Continuous computation}

Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

3. 分布式远程程序调用{Distributed RPC}

Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。

目前即时数据处理工具已经不少了，比如HStreaming（使用Hadoop）、开源的S4和StreamBase，人们还需要一个开源的Storm吗？

来自: 36氪

分享到：

3
顶

0
踩

评论共 3 条请登录后发表评论

3 楼 klose 2011-09-28 09:24

Twitter-Storm的部署过程 http://blog.sina.com.cn/s/blog_4a1f59bf0100xn8l.html

2 楼 diaodou 2011-08-06 11:28

比s4好的地方是，保证消息不丢失

1 楼 xifo 2011-08-06 08:41

只有开源生态系统的持续繁荣，才能获得一个相对公平的软件竞争环境，保持信息处理领域的加速度发展。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

开源大数据处理工具汇总

简介：Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架，它原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析系统。实时数据处理的应用场景很广泛，例如商品推荐，...

一共81个，开源大数据处理工具汇总（上）（转）

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，...

一共81个，开源大数据处理工具汇总

36大数据：一共81个，开源大数据处理工具汇总（上） 36大数据：一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等第一部分查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间...

[转]开源大数据处理工具汇总

开源大数据处理系统/工具大全

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架，它原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析系统。实时数据处理的应用场景很广泛，例如商品推荐，广告投放...

一共81个，开源大数据处理工具汇总（上）

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java...

Twitter Storm 实时数据处理框架分析总结

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化...

数据湖：分布式开源处理引擎Spark

换句话说，Spark 是一种开源的，大规模数据处理引擎。它提供了一整套开发 API，包括流计算、机器学习或者SQL。Spark 支持批处理和流处理。批处理指的是对大规模数据一批一批的计算，计算时间较长，而流处理则是一条...

【转载】开源大数据处理工具

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让...

开源大数据处理工具汇总（上）

开源大数据处理工具

(转)一共81个，开源大数据处理工具汇总

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和...

2023年7月抖音美妆品牌社媒营销电商分析报告-里季、VC美妆、娇润泉

本文详细分析了2023年7月抖音平台上美妆品牌「里季、VC美妆、娇润泉」的社媒营销和电商业绩。通过对销售额、直播销售、视频销售、热门商品、粉丝画像等方面的深入剖析，揭示了各品牌在抖音平台的成功之道。里季凭借创始人紫橙董事长的直播带货取得显著成绩，VC美妆则依靠素颜霜爆款和品牌自播，娇润泉通过洁面乳和精华液的推广，借助尾部达人视频切片和头部达人直播实现销售增长。

subscription-manager-rhsm-certificates-1.28.21-3.el8.x64-86.rpm.tar.gz

1、文件说明： Centos8操作系统subscription-manager-rhsm-certificates-1.28.21-3.el8.rpm以及相关依赖，全打包为一个tar.gz压缩包 2、安装指令： #Step1、解压 tar -zxvf subscription-manager-rhsm-certificates-1.28.21-3.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm

力士乐驱动调试软件13v16中文版：伺服驱动与液压同步调试的技术详解及应用

内容概要：本文详细介绍了力士乐驱动调试软件13v16中文版的特点及其在伺服驱动和液压同步调试中的应用。软件具有中文界面，便于理解和操作，涵盖参数设置、监控、诊断和调试四大模块。参数设置模块支持通过输入数值或拖动滑块调整电机速度和加速度；监控模块提供实时数据监测和图表展示；诊断模块帮助排查和解决问题；调试模块适用于高级调试如PID参数调整。此外，文中还分享了多个实用技巧，如批量修改参数、故障代码速查、动态链接库调用等。适合人群：从事工业自动化、机电一体化领域的工程师和技术人员，尤其是对伺服驱动和液压控制系统有一定经验的人群。使用场景及目标：①用于伺服驱动系统的调试，确保电机参数正确配置和稳定运行；②用于液压同步控制项目的调试，提高同步精度；③通过丰富的案例和技巧分享，帮助用户高效解决常见问题，提升工作效率。其他说明：本文不仅介绍了软件的基本功能，还深入探讨了实际调试过程中的一些经验和技巧，为用户提供全面的指导和支持。

计算机绘图-讲稿.pdf

计算机二级access历年真题及讲解.pdf

计算机复习小结.pdf

stubby-0.4.2-2.el8.x64-86.rpm.tar.gz

1、文件说明： Centos8操作系统stubby-0.4.2-2.el8.rpm以及相关依赖，全打包为一个tar.gz压缩包 2、安装指令： #Step1、解压 tar -zxvf stubby-0.4.2-2.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm

3顶0踩