资讯频道 → 企业架构
阅读更多

6顶
0踩

企业架构

原创新闻 流式大数据处理的三种框架：Storm，Spark和Samza

2015-03-10 14:06 by 副主编 mengyidan1988 评论(0) 有9056人浏览
框架 Storm Spark Samza

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。

Apache Storm

在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转发数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。在storm中，每个都是tuple是不可变数组，对应着固定的键值对。



Apache Spark

Spark Streaming是核心Spark API的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark针对持续性数据流的抽象称为DStream（DiscretizedStream），一个DStream是一个微批处理（micro-batching）的RDD（弹性分布式数据集）；而RDD则是一种分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。



Apache Samza

Samza处理数据流时，会分别按次处理每条收到的消息。Samza的流单位既不是元组，也不是Dstream，而是一条条消息。在Samza中，数据流被切分开来，每个部分都由一组只读消息的有序数列构成，而这些消息每条都有一个特定的ID（offset）。该系统还支持批处理，即逐次处理同一个数据流分区的多条消息。Samza的执行与数据流模块都是可插拔式的，尽管Samza的特色是依赖Hadoop的Yarn（另一种资源调度器）和Apache Kafka。



共同之处

以上三种实时计算系统都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，它们的共同特色在于：允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行。此外，它们都提供了简单的API来简化底层实现的复杂程度。

三种框架的术语名词不同，但是其代表的概念十分相似：



对比图

下面表格总结了一些不同之处：



数据传递形式分为三大类：

最多一次（At-most-once）：消息可能会丢失，这通常是最不理想的结果。
最少一次（At-least-once）：消息可能会再次发送（没有丢失的情况，但是会产生冗余）。在许多用例中已经足够。
恰好一次（Exactly-once）：每条消息都被发送过一次且仅仅一次（没有丢失，没有冗余）。这是最佳情况，尽管很难保证在所有用例中都实现。
另一个方面是状态管理：对状态的存储有不同的策略，Spark Streaming将数据写入分布式文件系统中（例如HDFS）；Samza使用嵌入式键值存储；而在Storm中，或者将状态管理滚动至应用层面，或者使用更高层面的抽象Trident。

用例

这三种框架在处理连续性的大量实时数据时的表现均出色而高效，那么使用哪一种呢？选择时并没有什么硬性规定，最多就是几个指导方针。

如果你想要的是一个允许增量计算的高速事件处理系统，Storm会是最佳选择。它可以应对你在客户端等待结果的同时，进一步进行分布式计算的需求，使用开箱即用的分布式RPC（DRPC）就可以了。最后但同样重要的原因：Storm使用Apache Thrift，你可以用任何编程语言来编写拓扑结构。如果你需要状态持续，同时/或者达到恰好一次的传递效果，应当看看更高层面的Trdent API，它同时也提供了微批处理的方式。



使用Storm的公司有：Twitter，雅虎，Spotify还有The Weather Channel等。

说到微批处理，如果你必须有状态的计算，恰好一次的递送，并且不介意高延迟的话，那么可以考虑Spark Streaming，特别如果你还计划图形操作、机器学习或者访问SQL的话，Apache Spark的stack允许你将一些library与数据流相结合（Spark SQL，Mllib，GraphX），它们会提供便捷的一体化编程模型。尤其是数据流算法（例如：K均值流媒体）允许Spark实时决策的促进。

使用Spark的公司有：亚马逊，雅虎，NASA JPL，eBay还有百度等。

如果你有大量的状态需要处理，比如每个分区都有许多十亿位元组，那么可以选择Samza。由于Samza将存储与处理放在同一台机器上，在保持处理高效的同时，还不会额外载入内存。这种框架提供了灵活的可插拔API：它的默认execution、消息发送还有存储引擎操作都可以根据你的选择随时进行替换。此外，如果你有大量的数据流处理阶段，且分别来自不同代码库的不同团队，那么Samza的细颗粒工作特性会尤其适用，因为它们可以在影响最小化的前提下完成增加或移除的工作。

使用Samza的公司有：LinkedIn，Intuit，Metamarkets，Quantiply，Fortscale等。

结论

本文中我们只对这三种Apache框架进行了简单的了解，并未覆盖到这些框架中大量的功能与更多细微的差异。同时，文中这三种框架对比也是受到限制的，因为这些框架都在一直不断的发展，这一点是我们应当牢记的。

原文链接：Streaming Big Data: Storm, Spark and Samza
  • 大小: 35.7 KB
  • 大小: 51.5 KB
  • 大小: 41.5 KB
  • 大小: 36 KB
  • 大小: 59.3 KB
  • 大小: 20 KB
来自: CSDN
6
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • [转载]流式大数据处理的三种框架：Storm，Spark和Samza

    许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为...

  • 流式大数据处理的三种框架:Storm，Spark和Samza

    许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑...

  • GUI面板MATLAB直车道线检测.zip

    GUI面板MATLAB直车道线检测

  • （2024年更新）八批中国自由贸易试验区明细数据.xlsx

    截至2024年12月，我国已有八批22个自由贸易试验区，73个片区，本次分享的数据包括自贸区名单、自贸区明细、以及自贸区DID的3份数据 一、数据介绍 数据名称：中国自由贸易试验区明细数据 数据范围：八批自由贸易试验区 数据年份：2009-2024年 数据样本：496条 数据来源：政府公开网站 数据整理：内含开放名单、开放网址明细、以及DID数据

  • 【工程项目】MATLAB车辆检测（速度+平均速度+GUI+车流量+详细注释）.zip

    【工程项目】MATLAB车辆检测（速度+平均速度+GUI+车流量+详细注释）

  • 2023年全国计算机二级C语言程序改错题.pdf

    2023年全国计算机二级C语言程序改错题.pdf

  • 基于SpringBoot+Vue的MOBA类游戏攻略分享平台（Java毕业设计，包括源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • 基于SSM+JSP的社区疫情防控管理信息系统+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • 2023年卫生招聘考试之卫生招聘（计算机信息管理）自测模拟预测题库.pdf

    2023年卫生招聘考试之卫生招聘（计算机信息管理）自测模拟预测题库.pdf

  • mysql-5.7.26-winx64 vagrant-2.4.3-windows-amd64 seata-server-2.0.0 nacos-server-2.5.0 VirtualBox-6.1

    mysql-5.7.26-winx64 vagrant-2.4.3-windows-amd64 seata-server-2.0.0 nacos-server-2.5.0 VirtualBox-6.1

  • 2025年中国企业人才激励现状及发展趋势研究报告

    内容概要：本文是南京蓝腾管理咨询有限公司发布的《2025年中国人才激励白皮书》，聚焦在中国企业管理中人才激励的问题，并结合中国的国情与文化背景，通过对全国18个行业、25个省份、超过千名员工的广泛调查，提出了具有中国特色的管理与激励模式的新思考和解决方案。主要内容涵盖了企业激励措施的现状分析、核心结论、发展趋势预测等方面，其中包括物质和非物质激励、不同层次与年龄的员工激励差异及其对未来企业发展的影响。 适合人群：企业管理层，HR从业者以及对公司管理与文化建设感兴趣的读者。 使用场景及目标：帮助企业管理人员更好地理解不同群体（性别、职位、地域等）员工的具体激励需求，识别并克服现有激励机制中的短板，进而提升整体绩效、增强员工满意度和忠诚度；同时也为企业未来的管理与激励策略制定提供了前瞻性指导。 其他说明：此文档分为免费版和全面版两部分，文中还列举了一些具体的激励实例（如跳海酒馆、西贝等企业的人才激励实践），以及未来研究方向和发展趋势预测等内容。

  • Java毕业设计-SpringBoot+Vue的考研资讯平台（附源码，数据库）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • springboot校园在线拍卖系统.zip

    ava项目springboot基于springboot的课程设计，包含源码+数据库+毕业论文

  • 基于JAVA的机场航班起降与协调管理系统&毕业设计&毕业论文&数据库&演示视频&源代码

    本次项目是设计一个基于JAVA的机场航班起降与协调管理系统。 （1）在经济可行性上来分析的话，该软件是机场内部使用的一个指挥协调软件，属于航空安全投资，本软件开发成本并不高，软件和服务器数据库可以用机场原有的数据库进行开发，比起空难给航空公司造成的损失来说九牛一毛。 （2）在技术可行性上来分析的话，该软件主要运用了Java技术、jQuery-easyui和Mysql数据库技术。Java是到目前来说最稳定的、最可靠的软件开发工具；jQuery-easyui虽然是比较新的前台开发技术，但是他的界面新颖整洁，适合于功能性软件的开发；Mysql数据库也是许多大公司都采用的软件项目开发数据库，不仅稳定而且性能可靠，可以用作本次软件的开发。 （3）在法律可行性上来分析的话，该软件使用的技术都为开源的软件开发工具和语言，虽然Java等开发技术都存在Sun公司的版权问题，但是Java技术是可以免费使用的，没有涉及到法律上的侵权。 （4）在方案可行性上来分析的话，此次软件开发的很大一部分精力都放在了软件的需求分析和设计方面，设计出来的软件可以很好地去实现我们所要完成的软件预先设计的功能。

  • GUI面板MATLAB的人脸+指纹融合系统.zip

    GUI面板MATLAB的人脸+指纹融合系统

  • 2023年全国计算机二级MSoffice高级应用模拟试题资料.pdf

    2023年全国计算机二级MSoffice高级应用模拟试题资料.pdf

  • 航空航天领域翼型振动与颤振分析的MATLAB仿真程序实现及应用

    内容概要：本文档详细记录了一段用于进行航空器机翼加装挂载（如导弹或其他装备）后的结构动力响应分析，特别是对颤振现象研究的 MATLAB 代码片段。主要内容涵盖初始化几何参数、物性参数以及质量特性等基本信息设定，通过定义多个矩阵（弯曲模式、扭转模式）用以描述系统运动方程的形式表达；采用Theodorsen函数表征气动力特性对于系统稳定性的影响；最终利用模态分析确定临界速度并给出最小颤振速率发生位置的相关讨论与实验数据对比验证。 适合人群：航空航天专业研究人员，工程物理学者及高等院校飞行器设计方向研究生及以上水平的技术爱好者。 使用场景及目标：①理解机翼与附加载体之间的动态交互机制；②掌握利用数学工具进行复杂机械系统的稳定性判断方法；③为实际产品研发提供理论依据和技术支持。 其他说明：文档中的部分内容已被省略以保护原创版权，同时确保敏感算法细节不在未经授权的情况下传播。由于文中涉及到大量的矩阵运算以及高级工程力学概念，请在使用前确认自己拥有足够的前置知识。

  • 个人用途,用于学习和交流

    个人用途,用于学习和交流

  • 2023年数模实验报告计算机.pdf

    2023年数模实验报告计算机.pdf

Global site tag (gtag.js) - Google Analytics