Twitter即将开源即时数据处理工具Storm

3顶
0踩

2011-08-05 17:37 by 见习记者 lihuapi 评论(3) 有5299人浏览

Twitter Storm 即时数据处理

开发者的好消息：Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的，后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用：

1. 信息流处理{Stream processing}

Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。

2. 连续计算{Continuous computation}

Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

3. 分布式远程程序调用{Distributed RPC}

Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。

目前即时数据处理工具已经不少了，比如HStreaming（使用Hadoop）、开源的S4和StreamBase，人们还需要一个开源的Storm吗？

来自: 36氪

分享到：

3
顶

0
踩

评论共 3 条请登录后发表评论

3 楼 klose 2011-09-28 09:24

Twitter-Storm的部署过程 http://blog.sina.com.cn/s/blog_4a1f59bf0100xn8l.html

2 楼 diaodou 2011-08-06 11:28

比s4好的地方是，保证消息不丢失

1 楼 xifo 2011-08-06 08:41

只有开源生态系统的持续繁荣，才能获得一个相对公平的软件竞争环境，保持信息处理领域的加速度发展。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

开源大数据处理工具汇总

简介：Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架，它原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析系统。实时数据处理的应用场景很广泛，例如商品推荐，...

一共81个，开源大数据处理工具汇总（上）（转）

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，...

一共81个，开源大数据处理工具汇总

36大数据：一共81个，开源大数据处理工具汇总（上） 36大数据：一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等第一部分查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间...

[转]开源大数据处理工具汇总

开源大数据处理系统/工具大全

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架，它原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析系统。实时数据处理的应用场景很广泛，例如商品推荐，广告投放...

一共81个，开源大数据处理工具汇总（上）

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java...

Twitter Storm 实时数据处理框架分析总结

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化...

数据湖：分布式开源处理引擎Spark

换句话说，Spark 是一种开源的，大规模数据处理引擎。它提供了一整套开发 API，包括流计算、机器学习或者SQL。Spark 支持批处理和流处理。批处理指的是对大规模数据一批一批的计算，计算时间较长，而流处理则是一条...

【转载】开源大数据处理工具

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让...

开源大数据处理工具汇总（上）

开源大数据处理工具

(转)一共81个，开源大数据处理工具汇总

我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和...

级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均

级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿，级联H桥svg无功补偿statcom，采用三层控制策略。（1）第一层采用电压电流双闭环pi控制，电压电流正负序分离，电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定，电流内环采用前馈解耦控制；（2）第二层相间电压均衡控制，注入零序电压，控制通过注入零序电压维持相间电压平衡；（3）第三层相内电压均衡控制，使其所有子模块吸收的有功功率与其损耗补，从而保证所有H桥子模块直流侧电压值等于给定值。有参考资料。 639,核心关键词： 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制以上十个关键词用分号分隔的格式为：不

GTX 1080 PCB图纸

GTX 1080 PCB图纸，内含图纸查看软件

深度优化与应用：提升DeepSeek润色指令的有效性和灵活性指南

内容概要：本文档详细介绍了利用 DeepSeek 进行文本润色和问答交互时提高效果的方法和技巧，涵盖了从明确需求、提供适当上下文到尝试开放式问题以及多轮对话的十个要点。每一部分内容都提供了具体的示范案例，如指定回答格式、分步骤提问等具体实例，旨在指导用户更好地理解和运用 DeepSeek 提升工作效率和交流质量。同时文中还强调了根据不同应用场景调整提示词语气和风格的重要性和方法。适用人群：适用于希望通过优化提问技巧以获得高质量反馈的企业员工、科研人员以及一般公众。使用场景及目标：本文针对所有期望提高 DeepSeek 使用效率的人群，帮助他们在日常工作中快速获取精准的答案或信息，特别是在撰写报告、研究材料准备和技术咨询等方面。此外还鼓励用户通过不断尝试不同形式的问题表述来进行有效沟通。其他说明：该文档不仅关注实际操作指引，同样重视用户思维模式转变——由简单索取答案向引导 AI 辅助创造性解决问题的方向发展。

基于FPGA与W5500实现的TCP网络通信测试平台开发-Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivad

基于FPGA与W5500实现的TCP网络通信测试平台开发——Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivado 2019软件的扩展开发,基于FPGA和W5500的TCP网络通信测试平台 zynq扩展口开发软件平台 vivado2019.2，纯Verilog可移植测试环境压力测试 cmd命令下ping电脑ip，同时采用上位机进行10ms发包回环测试，不丢包（内部数据回环，需要时间处理）目前实现单socket功能，多路可支持 ,基于FPGA; W5500; TCP网络通信; Zynq扩展口开发; 纯Verilog可移植; 测试平台; 压力测试; 10ms发包回环测试; 单socket功能; 多路支持。,基于FPGA与W5500的Zynq扩展口TCP通信测试：可移植Verilog实现的高效网络通信

Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储，报表生成与打印一体化解决方案 ,Labview液压比例阀

Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储，报表生成与打印一体化解决方案。,Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警管理及实验自动化,labview液压比例阀伺服阀试验台程序：功能包括，同PLC通讯程序，液压动画，手动控制及调试，传感器标定，报警设置及报警记录，自动实验，数据处理曲线处理，数据库存储及查询，报表自动生成及打印，扫码枪扫码及信号录入等~ ,核心关键词：PLC通讯; 液压动画; 手动控制及调试; 传感器标定; 报警设置及记录; 自动实验; 数据处理及曲线处理; 数据库存储及查询; 报表生成及打印; 扫码枪扫码。,Labview驱动的智能液压阀测试系统：多功能控制与数据处理

华为、腾讯、万科员工职业发展体系建设与实践.pptx

基于遗传算法的柔性车间调度优化附Matlab代码.rar

1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

电网不对称故障下VSG峰值电流限制的柔性控制策略：实现电流平衡与功率容量的优化利用,电网不对称故障下VSG峰值电流限制的柔性控制策略：兼顾平衡电流与功率控制切换的动态管理,电网不对称故障下VSG峰值电

电网不对称故障下VSG峰值电流限制的柔性控制策略：实现电流平衡与功率容量的优化利用,电网不对称故障下VSG峰值电流限制的柔性控制策略：兼顾平衡电流与功率控制切换的动态管理,电网不对称故障下VSG峰值电流限制的柔性不平衡控制（文章完全复现）。提出一种在不平衡运行条件下具有峰值电流限制的可变不平衡电流控制方法，可灵活地满足不同操作需求，包括电流平衡、有功或无功恒定运行（即电流控制、有功控制或无功控制之间的相互切），注入电流保持在安全值内，以更好的利用VSG功率容量。关键词：VSG、平衡电流控制、有功功率控制、无功功率控制。 ,VSG; 峰值电流限制; 柔性不平衡控制; 电流平衡控制; 有功功率控制; 无功功率控制。,VSG柔性控制：在电网不对称故障下的峰值电流限制与平衡管理

3顶0踩