`
szjian
  • 浏览: 74163 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Task运行过程分析

阅读更多
2 Task运行过程分析
Map Task分解成Read、Map、Collect、Spill、Combine五个阶段,Reduce Task分解成Shuffle、Merge、Sort、Reduce、Write五个阶段。
2.1 Map Task整体流程
1) Read阶段:Map Task通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value;
2) Map:将解析出的key/value交给用户编写的map()函数处理,并产生一系列新的key/value;
3) Collect:当Map处理完数据后,一般会调用OutputCollector.collect()输出结果。在该函数内部,它会将生成的key/value分片(通过调用Partitioner),并写入一个环形内存缓冲区中;
4) Spill:即“溢写”,当环形内存缓冲区满后,MapReduce会将数据写到本地磁盘上,生成一个临时文件。需要注意的是,将数据写入本地磁盘之前,先要对数据进行一次本地排序,并在必要时对数据进行合并、压缩等操作;
5) Combine:当所有数据处理完成后,Map Task对所有临时文件进行一次合并,以确保最终只会生成一个数据文件;
2.2 Reduce Task整体流程
1) Shuffle阶段:也称为copy阶段,Reduce Task从各个Map Task上远程拷贝一片数据,对针对某一片数据,如果其大小超过一定的阈值,则写到磁盘上,否则直接放到内存中;
2) Merge:在远程拷贝数据的同时,Reduce Task启动了两个后台线程对内存和磁盘上的文件进行合并,以防止内存使用过多或磁盘上文件过多;
3) Sort:为了将key相同的数据聚在一起,采用了基于排序的策略。由于各个Map Task已经实现对自己的处理结果进行了局部排序,因此,Reduce Task只需对所有数据进行一次归并排序即可;
4) Reduce:将每组数据依次交给用户编写的reduce()函数处理;
5) Write:将计算结果写到hdfs上;
分享到:
评论

相关推荐

    Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

    ### Apache Spark源码走读之3 -- Task运行期之函数调用关系分析 #### 概述 Apache Spark作为一款高效的大数据处理框架,在其内部有着复杂的任务调度与执行机制。本文将深入探讨Spark中Task执行期间的具体流程以及...

    自定义AntTask简单实例

    现在,你可以运行`ant run-custom-task`命令,Ant将会执行自定义的Task并打印出“Hello, World from custom Ant Task!”。 自定义Ant Task的优势在于它可以将任何Java代码集成到构建流程中,实现如代码分析、特殊...

    在MTK中添加TASK与常用函数分析.rar

    在MTK平台中,添加TASK即创建一个新的进程或线程来执行特定功能。步骤通常包括: 1. 定义任务结构体:首先需要定义一个结构体,包含任务的优先级、堆栈大小和入口函数等信息。 2. 分配堆栈:为新任务分配内存空间,...

    Hadoop源代码分析(MapTask辅助类,III)

    MapTask执行过程中,键值对的输出是一个关键环节,它直接影响到后续的排序、合并等操作。输出缓冲区中涉及的关键变量包括`bufstart`、`bufend`、`bufmark`和`bufvoid`。这些变量共同协作,确保数据能够正确且高效...

    基于C++的task 类

    7. **错误处理**:考虑异常安全,确保即使在任务执行过程中抛出异常,也能正确地清理资源。 8. **性能优化**:考虑使用线程池来重用线程,避免频繁创建和销毁线程的开销。 9. **并行度控制**:根据系统资源和需求...

    通过程序调用TaskFlow

    在执行过程中,可以监听进度,处理异常,或者在需要时暂停和恢复。 4. **ADF TaskFlow_RemoteProducer**: - "ADF_TaskFlow_RemoteProducer"可能是指一个特定的TaskFlow实例,它表示一个远程执行的任务生产者。在...

    State Decision Task活动详解

    在流程执行过程中遇到 Decision 节点时,系统会根据预设的条件自动计算并选择合适的路径继续执行。 **特点:** 1. **条件判断**:每个 Decision 节点都可以设置多个条件路径。 2. **智能选择**:系统自动根据条件...

    Hadoop源代码分析(MapTask辅助类 I)

    ### Hadoop MapTask辅助类源代码分析 #### 一、概述 Hadoop作为一个分布式计算框架,其核心组件之一是MapReduce。MapReduce负责处理大规模数据集的并行运算任务,而MapTask作为MapReduce的核心组成部分之一,其...

    Hadoop源代码分析(MapTask辅助类,II)

    在Hadoop中,MapTask是MapReduce框架的关键组件,负责执行Mapper阶段的工作。MapTask辅助类,特别是MapOutputBuffer,是Mapper输出数据管理的核心部分。本文将继续深入分析MapOutputBuffer的内部实现,以便理解...

    Delmia human task simulation

    5. **数据分析**:通过对模拟过程中产生的大量数据进行分析,发现潜在的问题和改进点。 #### 四、总结 Delmia Human Task Simulation不仅是一项技术挑战,也是一种强大的工具,能够帮助企业显著提升工作效率、改善...

    Activity,回退栈,Task之间的关系

    - 如果希望让一个 Activity 运行在一个独立的 Task 中,可以更改 `taskAffinity` 或者在启动 Intent 时添加特定的标志。 7. **启动模式的影响** - `Activity` 的启动模式(如 `singleTop` 或 `singleTask`)也会...

    sonar-ant-task-2.1.jar

    其中,Sonar Ant Task就是用于集成SonarQube到Apache Ant构建系统中的关键组件,它使得在Ant构建流程中执行代码质量检查变得简单易行。 “sonar-ant-task-2.1.jar”是SonarQube Ant任务的二进制库,版本为2.1。这个...

    深入分析C# Task

    "深入分析C# Task" Task是C#中的一种异步编程模式,自.NET Framework 4中引入,主要用于实现多线程编程。Task类表示一个单个操作,不返回值,通常以异步方式执行。Task对象是一种基于任务的异步模式的中心思想,...

    Spark源码分析2-Driver generate jobs and launch task

    6. **执行Task**:Executor接收到Task后,会在其工作内存中创建Task实例并执行。Executor会缓存中间结果,以便后续Task复用,从而提高性能。 7. **结果收集**:所有的Task执行完成后,Driver会收集计算结果,并可能...

    job task and task

    在软件工程中,构建(Build)是将源代码转换成可执行程序或库的过程。Soyatec可能是一家为华为提供服务的公司,他们提供的文档可能详细阐述了如何配置和执行华为项目的构建任务,包括编译、打包、测试等步骤。构建...

    工作流中ServiceTask的各种方法

    ServiceTask 可以在执行过程中读取和修改流程变量。使用 `${variableName}` 表达式可以访问变量,而 `setVariable` 方法则用于设置变量值。 8. **边界事件与异常处理** ServiceTask 支持边界事件,例如错误、信号...

    Human Task Simulation(DELMIA人机教程)

    - **添加分析到模拟**: 在模拟过程中加入数据分析功能,以获取更多关于任务执行的数据支持。 - **验证过程**: 通过一系列的验证步骤,确保整个任务流程的合理性和可行性。 - **共享关联操作员**: 设置多个操作员之间...

    EditeTest_自定义Task工作流-等高线批量赋值_ae10.rar

    Task工作流是一种图形化设计的工作执行流程,常用于GIS应用程序中简化复杂任务的执行过程。用户可以通过拖放控件,设定条件和逻辑,实现一系列操作的自动化。 首先,我们需要理解等高线批量赋值的概念。等高线是...

    Hadoop源代码分析(Task的内部类和辅助类)

    通过监控这些统计信息,可以更好地理解任务执行过程中的I/O性能瓶颈。 ### 总结 通过对`Task`类及其内部类和辅助类的深入分析,我们不仅了解了这些类的基本功能,还掌握了它们如何相互协作以支持Hadoop中复杂数据...

    android启动优化的操作,通过启动器task来进行启动优化

    它可能包括了对Task管理的定制,如自定义启动Activity的处理逻辑,或者是一个专门用于分析和优化Task性能的工具。 为了实施上述优化,开发者需要关注Android的生命周期管理,理解如何通过代码控制Activity和Task的...

Global site tag (gtag.js) - Google Analytics