`
m635674608
  • 浏览: 5031365 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Spark性能优化的10大问题及其解决方案

 
阅读更多

转自: http://book.51cto.com/art/201409/453045.htm

问题1:reduce task数目不合适
解决方式:
需根据实际情况调节默认配置,调整方式是修改参数spark.default.parallelism。通常,reduce数目设置为core数目的2到3倍。数量太大,造成很多小任务,增加启动任务的开销;数目太少,任务运行缓慢。
问题2:shuffle磁盘IO时间长
解决方式:
设置spark.local.dir为多个磁盘,并设置磁盘为IO速度快的磁盘,通过增加IO来优化shuffle性能;
问题3:map|reduce数量大,造成shuffle小文件数目多
解决方式:
默认情况下shuffle文件数目为map tasks * reduce tasks
通过设置spark.shuffle.consolidateFiles为true,来合并shuffle中间文件,此时文件数为reduce tasks数目;
问题4:序列化时间长、结果大
解决方式:
Spark默认使.用JDK.自带的ObjectOutputStream,这种方式产生的结果大、CPU处理时间长,可以通过设置spark.serializer为org.apache.spark.serializer.KryoSerializer。
另外如果结果已经很大,可以使用广播变量;
问题5:单条记录消耗大
解决方式:
使用mapPartition替换map,mapPartition是对每个Partition进行计算,而map是对partition中的每条记录进行计算;
问题6 : collect输出大量结果时速度慢
解决方式:
collect源码中是把所有的结果以一个Array的方式放在内存中,可以直接输出到分布式?文件系统,然后查看文件系统中的内容;
问题7: 任务执行速度倾斜
解决方案:
如果数据倾斜,一般是partition key取得不好,可以考虑其他的并行处理方式,并在中间加上aggregation操作;如果是Worker倾斜,例如在某些Worker上的executor执行缓慢,可以通过设置spark.speculation=true 把那些持续慢的节点去掉;
使用场景:
一个stage有10个task:task0~task9,分别分配到了worker0~worker9上去执行计算,其中task0~task8都只用了5s就运行成功返回了,而由于worker9本身可能由于CPU资源长期被别的线程占用、磁盘IO缓慢等缘故,造成了task9执行缓慢,迟迟不返回,于是这个stage只能慢慢等待task9的返回。也就是整个stage的运行时间被这个task9给拖后腿了。

而如果调度端如果引入了speculatable策略,那么上述事件的实际情况被改善为:
step1:TaskSetManager在task0~task8成功返回后,过了一段时间检测到task9迟迟没有返回,于是认定task9:你他妈的是个speculatableTask;
step2:TaskSetManager此时没有task需要调度,而且此时有speculatableTask,所以调度器决定再次调度一下task9,利用和普通task一样的调度策略将task9分发到某台机器上,不过这次不会让task9在worker9上调度了。假设新的task9调度到了worker0。
step3:这时,计算集群上就有了两个同时运行的task9。在worker0上的task9运行了5s成功返回了,这时候TaskSetManager接收到task9的成功状态,由于10个task都运行完了taskSetManager自己标识为运行完成。
PS:而那个在worker9上依然慢慢运行的task9就没什么用了,worker上的Executor会用Failed的形式。
问题8: 通过多步骤的RDD操作后有很多空任务或者小任务产生
解决方案:
使用coalesce或者repartition去减少RDD中partition数量;
问题9: 通过多步骤的RDD操作后有很多空任务或者小任务产生
解决方式:
使用coalesce或repartition去减少RDD中partition数量;
问题10:Spark Streaming吞吐量不高
解决方式:
可以设置spark.streaming.concurrentJobs

 

 

 

分享到:
评论

相关推荐

    Spark 性能优化 及详细解决方案

    本文将围绕Spark性能优化的知识点进行详细探讨,并提供解决方案。 首先,数据倾斜是Spark作业中常见的性能瓶颈。数据倾斜指的是在进行数据Shuffle过程中,某些节点上的key对应的记录数远多于其他节点,导致数据在...

    Spark性能优化指南—高级篇

    ### Spark性能优化指南—高级篇 #### 数据倾斜调优 数据倾斜是Spark处理大数据时最常见的问题之一,它严重影响了任务的执行效率。本章节重点探讨数据倾斜现象的原因、识别方式及解决方案。 ##### 调优概述 数据...

    Spark部署中的关键问题解决之道--许鹏.pdf

    本文详细讨论了Apache Spark部署过程中的关键问题及解决方案。Spark作为一款高效的大数据处理框架,支持快速、大规模的数据处理和分析。解决部署过程中的关键问题对于保证Spark应用的性能和稳定性至关重要。 首先,...

    大规模游戏社交网络节点相似性算法及其应用-10-1 网易基于 Spark + Kyuubi 内核优化与服务化实践.pdf

    Kyuubi 是一个开源的数据仓库系统,能够与 Spark 集成,提供高性能的数据仓库解决方案。在这个实践中,网易使用 Kyuubi + Spark 优化了数仓类任务,提高了查询性能和存储效率。 在架构方面,Kyuubi + Spark 数仓类...

    Spark部署中的关键问题解决之道--许鹏.zip

    本资料将由专家许鹏为我们深度解析Spark部署中的关键问题及其解决方案。 一、资源管理 1. YARN与Mesos:Spark可以运行在Hadoop的YARN或Mesos之上,理解这两种资源管理框架的工作原理至关重要。YARN提供细粒度的资源...

    spark考试练习题含答案.rar

    五、Spark性能优化 1. **Caching与Persistence**:通过缓存中间结果,减少重复计算,提高性能。 2. **Shuffle操作优化**:合理设置分区策略,减少网络传输和磁盘I/O。 3. **Executor配置**:调整executor的数量、...

    ApacheSpark:大数据时代的终极解决方案.docx

    Apache Spark 是大数据领域的一个核心工具,它为处理大规模数据提供了高效、快速的解决方案。Spark 是在 Hadoop MapReduce 的基础上发展起来的,旨在解决 MapReduce 在处理迭代计算和实时分析时效率低下的问题。它的...

    Spark大型项目实战:电商用户行为分析大数据平台开发实战

    以及讲师曾经开发过的处理十亿、甚至百亿以上数据级别的SparK作业的经验积累,贯穿讲解了大量的高级复杂的性能调优技术和知识、troubleshooting解决线上报错和故障的经验、高端的全方位数据倾斜处理和解决方案....

    Spark 调优攻略上册

    随着Cloudera、HortonWorks等Hadoop发行版供应商转向Spark,Spark在大数据解决方案中的核心地位日益巩固。 Spark Core是Spark的核心组件,提供了基础功能,如任务调度、内存管理、I/O操作等,为Spark SQL、Spark ...

    spark替代Hive实现ETL作业

    尽管它具有较低的硬件需求和较大的吞吐量,但相较于现代DAG(有向无环图)调度计算框架(如Spark),Hive无法进行有效的性能优化,从而导致了明显的性能差距。 - **新旧架构冲突**:随着大数据处理需求的增长和技术...

    Spark常见问题维护手册V1.01

    Spark是Apache软件基金会下的一个开源大数据处理框架,以其高效、灵活和可扩展的特性而闻名。...通过理解基本概念,熟悉常见问题及解决方案,可以更好地管理和优化Spark应用,确保其在大数据处理任务中的稳定性和性能。

    Spark Skew Join 的原理及在 eBay 的优化.docx

    Spark Skew Join 的原理及其在 eBay 的优化是大数据处理领域中的一个重要话题。Apache Spark 是一个流行的分布式计算框架,常用于大规模数据分析。在 Spark 中,数据倾斜(data skew)是一个常见问题,它发生在数据...

    Spark实战高手之路-第6章Spark SQL编程动手实战(1)

    - 实践过程中需要注意的数据类型转换、性能优化等问题也是重要的知识点。 #### 五、总结 通过以上知识点的提炼,我们可以看到,“Spark实战高手之路-第6章Spark SQL编程动手实战(1)”这本书籍不仅涵盖了从零开始...

    spark streaming 大型电商 项目实战

    5. 遇到的问题及解决方案:在实际应用中,肯定会有各种预料之外的问题出现,比如系统稳定性、实时性不足、数据延迟、资源调度优化等。文档会涉及这些问题的具体实例和如何采取措施解决。 6. Spark Streaming的运行...

    1-7+基于阿里云GPU加速的Spark大数据应用.pdf

    本资源摘要信息主要介绍基于阿里云GPU加速的Spark大数据应用,涵盖了智能计算全流程、RAPIDS加速库、ACSP(阿里云Spark GPU加速引擎)、适用场景、Spark GPU加速解决方案及其版本信息等内容。 智能计算全流程包括...

    大数据技术分享 Spark技术讲座 Spark SQL自适应执行大规模释放集群的力量 共24页.pdf

    综上所述,Spark SQL自适应执行功能为解决大数据处理中的常见问题提供了有效的解决方案。通过对shuffle分区数、连接策略以及数据倾斜等问题的动态优化,不仅提高了数据处理的效率,也极大地简化了用户的配置管理工作...

Global site tag (gtag.js) - Google Analytics