运用Spark加速实时数据分析

1顶
0踩

2015-10-30 14:04 by 副主编 mengyidan1988 评论(1) 有5748人浏览

Spark 大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统，并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献，并且为各个组织提供了许多工具来管理不同大小规则的数据。

在过去，Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而，随着信息化时代的发展，越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动，其中包括最近发展的流媒体技术、物联网、实时分析处理，这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天，能够满足上文提到的需求而引起了业界人士浓厚兴趣与广泛的支持的一项重要的新技术，就是Apache Spark。从能源产业到金融行业，Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。

Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其高速的内存计算，在函数式编程中与Hadoop相比更具生产力。例如，如图1所示，在逻辑回归算法性能测试中，Spark内存计算下的运行比Hadoop MapReduce快了几个数量级的速度。

图1：逻辑回归算法性能测试。图片来源：Apache Spark，使用已经过授权。

其中Spark的一些特性包括：

它利用分布式内存进行计算。
它支持完整的用有向无环图（DAG）来展示数据的并行计算。
它可以提高开发人员的经验。
它提供了线性可伸缩性与数据本地化。
它具有容错机制。

Spark为各种不同的用户提供着便利：信息技术开发人员可以受益于Spark支持各种流行的开发语言，例如Java、Python、R语言；而数据科学家可以在Spark支持的机器学习（ML）库中获得研究便利。

在Spark中还有一个庞大且不断增长的第三方包列表，将各式各样的工具、环境、框架、语言整合到一起，从而扩展Spark的复杂性以及能力。

Spark用例可以部署在不同的生产场景中，其中包括在一个大型技术公司中运用Spark通过使用机器学习来进行个性化搜索；在一个金融系统中仅需数小时便可以处理数以百万计的股票分析，要知道相同的工作量下此前使用Hadoop MapReduce起码得耗费一周的时间；在学术环境中进行基因科学研究；在视频系统中，Spark与Spark Streaming被用于处理流媒体及其分析；以及卫生保健领域中Spark被用于进行疾病的预测建模。

如此看来似乎各式各样不同的问题都能通过Spark成功地被解决，但是最重要的是我们仍需要不断去优化Spark的架构，以处理任何所提及到的用例。正如Spark拥有强大的特性，简而言之，这也意味着它的复杂性。因此，为了获得最佳性能的Spark，它需要成为一个更广泛的Hadoop基础数据管理平台的重要组成部分。此外，为了能在实时或者预测分析中得到更大收益，那么优化整个数据供应链也是至关重要的。

原文链接：Accelerating real-time analytics with Spark（翻译/丘志鹏审校/林炀责编/仲浩）

查看图片附件

分享到：

1
顶

0
踩

评论共 1 条请登录后发表评论

最终，我能够使用Spark处理大规模数据集，并通过并行化和分布式计算加速任务的执行。其次，我开始了对Spring Boot的学习。Spring Boot是一种快速构建基于Spring框架的应用程序的方式。通过学习Spring Boot，我了解...

Spark 高级数据分析（第2版）

作为计算框架，Spark 速度快，开发简单，能同时兼顾批处理和实时数据分析，因此很快被广大企业级用户所采纳，并随着近年人工智能的崛起而成为分析和挖掘大数据的重要得力工具。本书由业内知名数据科学家执笔，通过...

Spark成为大数据分析领域新核心的五个理由

YARN是大数据环境下理想的资源分配与管理框架选项。第三也是最重要的一点，没有哪套单一处理框架能够...企业客户需要数据准备、描述性分析、搜索、预测性分析以及机器学习与图形处理等更为先进的功能。与此同时，企...

基于Spark框架的新闻网大数据实时分析可视化系统项目.zip

基于Spark2.2的新闻网大数据实时分析系统设计与实现.zip

基于Flume&spark&Flask的分布式实时日志分析与入侵检测系统.zip

基于spark+flume+kafka+hbase的实时日志处理分析系统.zip

基于spark的地铁大数据客流分析系统.zip

基于spark的外卖大数据平台分析系统.zip

基于Spark的行为日志分析系统设计与实现.zip

Spark：实时数据微批处理（2.Spark Core：核心）

文章目录1.RDD 概述1.1 什么是 RDD？1.2 RDD 的 5 个主要属性(property)1.3 理解 RDD1.3.1 RDD 特点2.RDD 编程2.1 RDD 编程模型...RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数...

基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip

机器学习_深度学习毕设题目汇总——数据分析_数据挖掘

基于可调Q因子小波变换和迁移学习的脑电数据分析方法研究基于深度学习的烟草近红外光谱数据分析基于自回归模型和机器学习的大气电场数据分析和应用研究基于可视化技术的音乐数据分析平台的研究面向数据...

运用这招，让 Spark 提速 45 倍！

通过借鉴开源算法，并将处理任务分布到计算节点集群上，无论在它们在单一平台上所能执行的数据分析类型方面，还是在执行这些任务的速度方面，Spark和Hadoop这一代框架都轻松胜过传统框架。Spark利用内存来处理数据，...

基于spark streaming和kafka，hbase的日志统计分析系统.zip

基于Spark、NoSQL实时数据处理实践

本文基于TalkingData 张学敏在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。主要介绍了项目的技术选型、技术架构，重点介绍下项目面临的挑战和解决办法...

(源码)基于C语言的SmartPlugModbus固件项目.zip

# 基于C语言的SmartPlugModbus固件项目 ## 项目简介该项目是一个基于C语言的固件项目，旨在实现一个支持Modbus RTU通信协议的智能设备固件。该固件被设计为与SmartPlugModbus设备配合使用，用于控制和管理多个电源插座，提供过流、欠流、过压、欠压和过热保护，同时监控插座状态和电压、电流等参数。 ## 项目的主要特性和功能 1. Modbus RTU通信协议支持固件实现了Modbus RTU通信协议，允许通过Modbus协议与设备进行通信，包括读取和写入设备参数、状态和控制命令。 2. 多插座控制固件支持控制多个电源插座，包括开启、关闭、查询状态等。 3. 保护功能设备提供过流、欠流、过压、欠压和过热保护，防止设备损坏和安全事故。 4. 参数配置通过Modbus协议，用户可以配置设备的保护参数，如电流、电压限制等。

毕设单片机实战项目基于ESP8266 Mesh SDK开发，通过HSPI与STM32通讯.zip

【项目资源】：单片机项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。【项目质量】：所有源码都经过严格测试，可以直接运行。功能在确认正常工作后才上传。【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。

毕业设计物联网实战项目基于龙芯派的物联网食品仓储监测系统.zip

【项目资源】：物联网项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。【项目质量】：所有源码都经过严格测试，可以直接运行。功能在确认正常工作后才上传。【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。

1顶0踩