资讯频道 → 企业架构
阅读更多

6顶
0踩

企业架构

原创新闻 流式大数据处理的三种框架：Storm，Spark和Samza

2015-03-10 14:06 by 副主编 mengyidan1988 评论(0) 有8999人浏览
框架 Storm Spark Samza

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。

Apache Storm

在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转发数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。在storm中，每个都是tuple是不可变数组，对应着固定的键值对。



Apache Spark

Spark Streaming是核心Spark API的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark针对持续性数据流的抽象称为DStream（DiscretizedStream），一个DStream是一个微批处理（micro-batching）的RDD（弹性分布式数据集）；而RDD则是一种分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。



Apache Samza

Samza处理数据流时，会分别按次处理每条收到的消息。Samza的流单位既不是元组，也不是Dstream，而是一条条消息。在Samza中，数据流被切分开来，每个部分都由一组只读消息的有序数列构成，而这些消息每条都有一个特定的ID（offset）。该系统还支持批处理，即逐次处理同一个数据流分区的多条消息。Samza的执行与数据流模块都是可插拔式的，尽管Samza的特色是依赖Hadoop的Yarn（另一种资源调度器）和Apache Kafka。



共同之处

以上三种实时计算系统都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，它们的共同特色在于：允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行。此外，它们都提供了简单的API来简化底层实现的复杂程度。

三种框架的术语名词不同，但是其代表的概念十分相似：



对比图

下面表格总结了一些不同之处：



数据传递形式分为三大类：

最多一次（At-most-once）：消息可能会丢失，这通常是最不理想的结果。
最少一次（At-least-once）：消息可能会再次发送（没有丢失的情况，但是会产生冗余）。在许多用例中已经足够。
恰好一次（Exactly-once）：每条消息都被发送过一次且仅仅一次（没有丢失，没有冗余）。这是最佳情况，尽管很难保证在所有用例中都实现。
另一个方面是状态管理：对状态的存储有不同的策略，Spark Streaming将数据写入分布式文件系统中（例如HDFS）；Samza使用嵌入式键值存储；而在Storm中，或者将状态管理滚动至应用层面，或者使用更高层面的抽象Trident。

用例

这三种框架在处理连续性的大量实时数据时的表现均出色而高效，那么使用哪一种呢？选择时并没有什么硬性规定，最多就是几个指导方针。

如果你想要的是一个允许增量计算的高速事件处理系统，Storm会是最佳选择。它可以应对你在客户端等待结果的同时，进一步进行分布式计算的需求，使用开箱即用的分布式RPC（DRPC）就可以了。最后但同样重要的原因：Storm使用Apache Thrift，你可以用任何编程语言来编写拓扑结构。如果你需要状态持续，同时/或者达到恰好一次的传递效果，应当看看更高层面的Trdent API，它同时也提供了微批处理的方式。



使用Storm的公司有：Twitter，雅虎，Spotify还有The Weather Channel等。

说到微批处理，如果你必须有状态的计算，恰好一次的递送，并且不介意高延迟的话，那么可以考虑Spark Streaming，特别如果你还计划图形操作、机器学习或者访问SQL的话，Apache Spark的stack允许你将一些library与数据流相结合（Spark SQL，Mllib，GraphX），它们会提供便捷的一体化编程模型。尤其是数据流算法（例如：K均值流媒体）允许Spark实时决策的促进。

使用Spark的公司有：亚马逊，雅虎，NASA JPL，eBay还有百度等。

如果你有大量的状态需要处理，比如每个分区都有许多十亿位元组，那么可以选择Samza。由于Samza将存储与处理放在同一台机器上，在保持处理高效的同时，还不会额外载入内存。这种框架提供了灵活的可插拔API：它的默认execution、消息发送还有存储引擎操作都可以根据你的选择随时进行替换。此外，如果你有大量的数据流处理阶段，且分别来自不同代码库的不同团队，那么Samza的细颗粒工作特性会尤其适用，因为它们可以在影响最小化的前提下完成增加或移除的工作。

使用Samza的公司有：LinkedIn，Intuit，Metamarkets，Quantiply，Fortscale等。

结论

本文中我们只对这三种Apache框架进行了简单的了解，并未覆盖到这些框架中大量的功能与更多细微的差异。同时，文中这三种框架对比也是受到限制的，因为这些框架都在一直不断的发展，这一点是我们应当牢记的。

原文链接：Streaming Big Data: Storm, Spark and Samza
  • 大小: 35.7 KB
  • 大小: 51.5 KB
  • 大小: 41.5 KB
  • 大小: 36 KB
  • 大小: 59.3 KB
  • 大小: 20 KB
来自: CSDN
6
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • [转载]流式大数据处理的三种框架：Storm，Spark和Samza

    许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为...

  • 流式大数据处理的三种框架:Storm，Spark和Samza

    许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑...

  • 利用Simulink实现混合储能系统在直流微网中的下垂控制策略研究：保持直流母线电压稳定的实践与探究,Simulink仿真下的光储直流微网混合储能系统下垂控制策略优化研究（注意版本要求为2021A以上

    利用Simulink实现混合储能系统在直流微网中的下垂控制策略研究：保持直流母线电压稳定的实践与探究,Simulink仿真下的光储直流微网混合储能系统下垂控制策略优化研究（注意版本要求为2021A以上）,混合储能系统 光储微网 下垂控制 Simulink仿真 注意版本2021A以上 由光伏发电系统和混合储能系统构成直流微网。 混合储能系统由超级电容器和蓄电池构成，通过控制混合储能系统来维持直流母线电压稳定。 混合储能系统采用下垂控制来实现超级电容和蓄电池的功率分配，蓄电池响应低频量，超级电容响应高频量。 通过改变光照来影响光伏出力，控制混合储能系统保持微网直流母线电压稳定在380V，不受光伏出力变化影响。 ,混合储能系统; 光储微网; 下垂控制; Simulink仿真; 版本2021A; 直流母线电压稳定; 光伏出力变化; 超级电容器; 蓄电池。,2021A+混合储能系统：光储微网下垂控制Simulink仿真研究

  • JavaScript入门到精通: 全栈编程语言的基础与进阶学习指南

    内容概要：本文档是针对JavaScript这一跨平台解释型语言的详尽入门手册，首先概述了JavaScript的概念及其重要特性，强调它不仅适用于前端同时也活跃于Node.js的服务器环境之中，从而成为全栈开发的重要技能。紧接着文档阐述了JavaScript的基本语法元素如变量声明、数据类型、运算符及控制结构，让新手理解JavaScript的语法规则，并通过函数与对象操作加深印象。之后介绍了一些常见的实用工具和高级用法，例如模板字符串、解构赋值以及异步编程手段（比如Promise）。对于想要深入探索的应用场景给出了广泛的指引，无论是传统的web开发还是新兴领域的IoT或自动化脚本编写皆有所涉猎。 适合人群：对于那些没有编程背景或有其他编程经验但仍希望了解并擅长运用JavaScript的个人来说非常适合。 使用场景及目标：目的是向初学者提供足够的理论指导和技术实践机会，使他们能够在不同平台上利用JavaScript创造出有意义的作品；不论是想要从事专业软件开发或是业余项目爱好者都能够从中受益。 其他说明：文档还提供了大量权威且有用的外部链接供进一步深造学习，包括但不限于主流的在线课程、权威的技术参考资料及充满活力的支持社区。

  • 2D3D 中弗里德里希常数和庞加莱常数的计算 附Matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均

    级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿，级联H桥svg无功补偿statcom，采用三层控制策略。 （1）第一层采用电压电流双闭环pi控制，电压电流正负序分离，电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定，电流内环采用前馈解耦控制； （2）第二层相间电压均衡控制，注入零序电压，控制通过注入零序电压维持相间电压平衡； （3）第三层相内电压均衡控制，使其所有子模块吸收的有功功率与其损耗补，从而保证所有H桥子模块直流侧电压值等于给定值。 有参考资料。 639,核心关键词： 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制 以上十个关键词用分号分隔的格式为：不

  • 基于时空RBF-NN的混沌时间序列预测 附Matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 基于主从博弈的动态定价策略与电动汽车充电管理优化在智能小区的实践（MATLAB+CPLEX gurobi实现）,基于主从博弈理论的智能小区电动汽车充电与代理商动态定价策略优化研究,MATLAB代码：基

    基于主从博弈的动态定价策略与电动汽车充电管理优化在智能小区的实践（MATLAB+CPLEX gurobi实现）,基于主从博弈理论的智能小区电动汽车充电与代理商动态定价策略优化研究,MATLAB代码：基于主从博弈的智能小区代理商定价策略及电动汽车充电管理 关键词：电动汽车 主从博弈 动态定价 智能小区 充放电优化 参考文档：《基于主从博弈的智能小区代理商定价策略及电动汽车充电管理》基本复现 仿真平台：MATLAB+CPLEX gurobi平台 主要内容：代码主要做的是一个电动汽车充电管理和智能小区代理商动态定价的问题，将代理商和车主各自追求利益最大化建模为主从博弈，上层以代理商的充电电价作为优化变量，下层以电动汽车的充电策略作为优化变量，通过优化得出最优电价策略以及动态充电策略。 ,电动汽车; 主从博弈; 动态定价; 智能小区; 充放电优化; MATLAB; CPLEX; gurobi平台。,基于主从博弈的电动汽车充电管理与定价策略优化MATLAB代码实现

  • （程序、GUI、思路）MATLAB打印纸缺陷检测GUI设计.zip

    基于Matlab语言实现的设计项目 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计中的部分功能，作为“参考资料”使用。 3、解压说明：本资源需要电脑端使用WinRAR、7zip等解压工具进行解压，没有解压工具的自行百度下载即可。 4、免责声明：本资源作为“参考资料”而不是“定制需求”，代码只能作为参考，不能完全复制照搬。不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试代码并解决报错，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。

  • 《基于 Transformer 的恶意软件检测器》（毕业设计，源码，教程）简单部署即可运行。功能完善、操作简单，适合毕设或课程设计.zip

    资源内项目源码是均来自个人的课程设计、毕业设计或者具体项目，代码都测试ok，都是运行成功后才上传资源，答辩评审绝对信服的，拿来就能用。放心下载使用！源码、说明、论文、数据集一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 4、如有侵权请私信博主，感谢支持

  • Labiew噪音与振动检测模块源码揭秘：傅里叶变换与倍频程技术应用于实际项目,LabVIEW平台噪声与振动检测模块源码解析：基于傅里叶变换与倍频程原理的实用功能模块，已成功应用于实际项目，虚拟产品退换

    Labiew噪音与振动检测模块源码揭秘：傅里叶变换与倍频程技术应用于实际项目,LabVIEW平台噪声与振动检测模块源码解析：基于傅里叶变换与倍频程原理的实用功能模块，已成功应用于实际项目，虚拟产品退换政策严谨执行,Labiew噪音与振动检测模块源码，改功能模块已运用到实际项目，原理是利用傅里叶变和倍频程实现的，产品一旦发概不 。 需要的可以联系哟 ,Labiew源码; 噪音与振动检测模块; 傅里叶变换; 倍频程; 实际项目运用,Labiew傅里叶变换倍频程噪音振动检测模块源码

  • 基于Comsol多物理场仿真的光伏集热器异形体建模技术研究,探索comsol多物理场仿真技术：光伏集热器异形体建模应用,comsol多物理场仿真，光伏集热器，异形体建模 ,comsol多物理场仿真;

    基于Comsol多物理场仿真的光伏集热器异形体建模技术研究,探索comsol多物理场仿真技术：光伏集热器异形体建模应用,comsol多物理场仿真，光伏集热器，异形体建模 ,comsol多物理场仿真; 光伏集热器仿真; 异形体建模,Comsol多物理场仿真在光伏集热器及异形体建模中的应用

  • 器官3D分割-基于WinForm框架开发的医学影像系统源码+sln+演示视频(毕设基于c#和python开发).zip

    器官3D分割-基于WinForm框架开发的医学影像系统源码+sln+演示视频(毕设基于c#和python开发).zip 【项目简单介绍】 主要功能 肺炎诊断 器官 3D 分割 该系统具备肺炎诊断和器官 3D 分割的功能,并模仿了罗万科技的系统界面风格。 python和c#开发实现

  • 界面GUI设计MATLAB BP的水果识别.zip

    MATLAB可以用于开发水果识别系统。这种系统通常利用机器学习和图像处理技术，对输入的水果图像进行特征提取和分类识别。以下是开发水果识别系统的一般步骤： 1. 数据收集：收集包含各种水果类别的图像数据集。 2. 数据预处理：对图像进行预处理，包括裁剪、缩放、灰度化等操作。 3. 特征提取：从每个水果图像中提取特征，例如颜色直方图、纹理特征、形状特征等。 4. 数据标记：为每个图像标记水果类别，形成训练集和测试集。 5. 模型训练：使用机器学习算法（如支持向量机、卷积神经网络等）对训练集进行训练，建立水果识别模型。 6. 模型测试：使用测试集对模型进行测试和评估，调整模型超参数以提高准确率。 7. 系统集成：将训练好的模型集成到MATLAB应用程序中，实现水果识别功能。 8. 用户界面设计：设计用户友好的界面，以便用户上传水果图像并查看识别结果。 MATLAB提供了丰富的图像处理工具箱和机器学习工具箱，可以帮助开发者快速构建水果识别系统。通过结合这些工具箱，可以实现水果的快速、准确识别。

  • COMSOL声子晶体仿真研究：一维至三维能带与带隙分析及色散曲线弹性波声波分析,声子晶体仿真：COMSOL代做能带图、带隙图及弹性波、声波分析与优化设计,COMSOL代做 声子晶体仿真，一维，二维，三

    COMSOL声子晶体仿真研究：一维至三维能带与带隙分析及色散曲线弹性波声波分析,声子晶体仿真：COMSOL代做能带图、带隙图及弹性波、声波分析与优化设计,COMSOL代做 声子晶体仿真，一维，二维，三维能带图，带隙图，色散曲线，弹性波，声波。 ,COMSOL代做;声子晶体仿真;一维/二维/三维能带图;带隙图;色散曲线;弹性波仿真;声波分析,COMSOL声子晶体仿真专家：一至三维声波模拟及能带图绘制

  • Matlab Simulink仿真探究Flyback反激式开关电源性能表现与优化策略,Matlab Simulink仿真探究Flyback反激式开关电源的工作机制,Matlab Simulimk仿真

    Matlab Simulink仿真探究Flyback反激式开关电源性能表现与优化策略,Matlab Simulink仿真探究Flyback反激式开关电源的工作机制,Matlab Simulimk仿真，Flyback反激式开关电源仿真 ,Matlab; Simulink仿真; Flyback反激式; 开关电源仿真,Matlab Simulink在Flyback反激式开关电源仿真中的应用

  • 陪读租房系统(源码+数据库+论文+ppt)java开发springboot框架javaweb，可做计算机毕业设计或课程设计

    陪读租房系统(源码+数据库+论文+ppt)java开发springboot框架javaweb，可做计算机毕业设计或课程设计 【功能需求】 本系统有三个角色：管理员、租客和房主，要求具备以下功能： (a) 管理员；管理员使用本系统涉到的功能主要有：首页、个人中心、租客管理、房主管理、房源信息管理、房源类型管理、教育书籍管理、文章分类管理、租房信息管理、合同信息管理、在线咨询管理、咨阅回复管理、教育论坛、系统管理等功能。 (b) 租客；进入前台系统可以实现首页、房源信息、教育书籍、教育论坛、公告信息、后台管理等功能进行操作。 (C) 房主；进入系统可以实现首页、个人中心、房源信息管理、租房信息管理、合同信息管理、在线咨询管理、咨询回复管理等功能进行操作。 【环境需要】 1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境：IDEA，Eclipse,Myeclipse都可以。 3.tomcat环境：Tomcat 7.x,8.x,9.x版本均可 4.数据库：MySql 5.7/8.0等版本均可； 【购买须知】 本源码项目经过严格的调试，项目已确保无误，可直接用于课程实训或毕业设计提交。里面都有配套的运行环境软件，讲解视频，部署视频教程，一应俱全，可以自己按照教程导入运行。附有论文参考，使学习者能够快速掌握系统设计和实现的核心技术。

  • vue3的一些语法以及知识点

    vue3的一些语法以及知识点

  • libicu-doc-50.2-4.el7-7.x64-86.rpm.tar.gz

    1、文件内容：libicu-doc-50.2-4.el7_7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/libicu-doc-50.2-4.el7_7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持：公众号禅静编程坊

Global site tag (gtag.js) - Google Analytics