`
dajuezhao
  • 浏览: 60866 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Map/Reduce执行流程简述

HadoopGmail 
阅读更多

一、背景

最近总在弄MR的东西，所以写点关于这个方面的内容，总结一下吧

二、流程描述

说实话，文字描述比较苍白，画了个图，贴出来，大家看看，有问题欢迎指出

三、总结

1、值得提出的是，一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。

2、分组的操作是对key的值进行比较分组。（可以是复合key，也可以是单一的key）

3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器，对原有的排序方式进行重写。

4、值得看看Hadoop自带的例子SecondarySort.java这个类。

5、写的不对或有疑问的地方，发邮件交流，dajuezhao@gmail.com

分享到：
| Hadoop集群中关于SSH认证权限的问题
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Apress.Beginning.CouchDB.Dec.2009.pdf

    然后，作者详细阐述了CouchDB的核心特性——视图和映射/化简（map/reduce）机制，这是一个处理复杂查询和数据聚合的重要概念。 在最后的部分，书中探讨了如何构建CouchApps，即完全存储在数据库中的Web应用程序，这...

    实验3-统计某电商网站买家收藏商品数量1

    - **MapReduce流程**：详细阐述Map和Reduce阶段的功能，以及数据转换的过程。 - **编程实现**：描述所使用的编程语言（如Java或Python），以及Map和Reduce函数的具体实现细节。 - **结果验证**：提供测试数据和预期...

    2018最新BAT大数据面试题.docx

    - **基本组件：**MapReduce作业包含Map阶段和Reduce阶段。 - **功能描述：**MapReduce框架本质上实现了分布式排序。 2. **Map阶段排序：** - 在Map阶段，每个Map Task会产生一系列按key排序的临时文件（通常使用...

    NoSQL数据库-MongoDB和Redis

    - map/reduce：用于进行聚合操作，对数据进行复杂的分析和计算。 7. 模式设计 MongoDB鼓励灵活的数据模型，但仍然需要考虑数据一致性、查询效率和存储空间等因素。良好的模式设计能平衡这些因素，例如，使用适当的...

    大数据环境下的关联规则挖掘

    - **Reduce阶段**：map任务完成后，其输出会被重新组织并分配给reduce任务。reduce任务负责对具有相同键的键值对进行合并操作，从而产生最终的结果。 MapReduce框架还负责处理数据的分布式存储、任务的调度与监控、...

    大数据处理技术.pptx

    **MapReduce工作流程**\n- **Map阶段**：原始数据被分割成M个分片，每个分片由一个mapper处理，产生中间key-value对。 - **Shuffle阶段**：中间结果按照key分区并排序，可能使用combiner进行初步合并，减少网络传输...

    hadoop 开发者入门专刊 1-4

    3. MapReduce编程模型：讲解MapReduce的工作原理，包括Map阶段、Shuffle阶段和Reduce阶段，以及如何编写Map和Reduce任务。 4. YARN资源管理：介绍YARN的架构，包括ResourceManager、NodeManager、ApplicationMaster...

    体系结构文档1

    5. **主要功能执行流程**： - **wifiprob数据接收流程**： - **探针发送数据**：WIFI探针持续收集环境中的无线信号信息，并发送到系统。 - **负载均衡部件**：根据预设策略，选择合适的探针接收服务器，确保数据...

    MapReduce处理流程

    MapReduce处理流程涉及多个阶段，确保数据的有效处理和分布式计算的正确执行。 1. **输入处理**： - **输入切片（Input Split）**：MapReduce首先将输入数据集分割成多个逻辑上的块（Split），通常默认大小与HDFS...

    spark_code_basic

    常见的RDD转换操作有map、filter、flatMap、reduceByKey等，动作操作包括count、collect、first等。理解这些基本操作是掌握Spark的关键。 5. **Spark SQL与DataFrame** Spark SQL引入了DataFrame，它是基于...

    MongoDB & Redis

    - **Map/Reduce**：用于复杂数据处理和汇总计算。 #### 四、MongoDB的高级特性 - **模式设计**：根据应用场景灵活设计文档结构。 - **嵌入与引用**：在文档中嵌入或引用其他文档，适用于不同类型的数据关联需求。 ...

    大数据平台构建：MapReduce的重要概念.pptx

    6. **降低编程难度**：MapReduce通过抽象出Map和Reduce两个主要操作，程序员只需关注业务逻辑，简化了分布式编程。 **三、MapReduce的适用开发场景** 1. **数据统计分析**：如计算用户行为、销售数据、网站访问...

    互联网高频Java后端面试题20道（适合1~3年）V1.0.80.docx

    在函数式编程中，Lambda 表达式可以简化代码，尤其是处理集合的高阶函数，如 map、filter 和 reduce。它们让代码更加简洁、可读，同时增强了函数式编程的能力。问题 18：请解释什么是 Maven，它在项目构建中的作用是...

    山东大学 17 or 18 年 大数据期末考试题

    - **执行器**: 执行优化后的任务。 #### 数据模型 Hive支持表和视图两种数据模型。 - **表**: 可以是内部表也可以是外部表。内部表的数据存储在Hive的元数据存储目录下；而外部表的数据则存储在用户指定的位置，不...

    一种分布式并行的高效用项集挖掘算法

    在Map阶段，P-EFIM算法首先计算所有项集的事务加权效用值，然后对这些项集进行排序。排序后的项集被重新编号，同时剔除低效用的项，以提高数据集的利用率。这里的关键是S型分配策略，它能确保子任务均匀地分配到各个...

    Yarn框架代码详细分析V0.3.pdf

    - 请求和管理资源以执行Map和Reduce任务。 - **实现细节：** - 通过与ResourceManager交互获取资源。 - 通过NodeManager启动和监控任务容器。 **2.2.4 MRYarnChild** - **描述：** - 该部分文档较为简略，可能...

Magicbox
Global site tag (gtag.js) - Google Analytics