`

Hadoop学习第4天——JobTracker TaskTracker

Jobtrackertasktracker 
阅读更多

翻译《Pro Hadoop 》Jason Venner著，部分章节

JobTracker & TaskTracker

The framework provides two processes that handle the management of MapReduce jobs:
• TaskTracker manages the execution of individual map and reduce tasks on a compute
node in the cluster.
• JobTracker accepts job submissions, provides job monitoring and control, and manages
the distribution of tasks to the TaskTracker nodes.

 

 

MapReduce job的管理有两种：TaskTracker 和JobTracker

TaskTracker ——map和reduce任务的执行

JobTracker ——map和reduce任务的接受，监控和管理TaskTracker 的分布式任务

 

 

1个节点上有1个JobTacker，但有1个或以上的TaskTracker，


 

NameNode & DataNode

HDFS services are provided by two processes:HDFS服务提供2个进程
• NameNode handles management of the file system metadata, and provides management
and control services.
• DataNode provides block storage and retrieval services.

NameNode提供管理，文件系统元数据，管理和监控服务，DataNode用于数据存储和检索服务

 

 

分享到：
| Cygwin中交叉编译pthread_mutex_timedlock ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop学习手册

    作为云计算的标准开源软件，Hadoop的生态系统分布图包括多个构造模块，如NameNode、DataNode、Secondary NameNode、JobTracker和TaskTracker等。 Hadoop集群中的机器分为两类：主节点和从节点。NameNode、...

    Hadoop快速入门——第四章、zookeeper安装包

    总结来说，Hadoop快速入门的第四章主要介绍了Zookeeper的安装和配置，这对于理解和实践Hadoop分布式计算至关重要。通过学习Zookeeper，你可以更好地理解分布式系统的协调机制，提升你在大数据领域的专业能力。

    hadoop学习源码学习

    ### Hadoop源码学习——MapReduce核心解析 #### 一、基本概念 ##### 1.1 MapReduce逻辑过程 在Hadoop中，MapReduce是一种分布式计算框架，用于处理大规模数据集。其工作流程主要包括以下几个阶段： 1. **...

    hadoop实战——初级部分学习笔记 2

    ### Hadoop实战——初级部分学习笔记 2 #### 一、引言与背景 随着大数据时代的到来，Hadoop作为处理大规模数据集的核心工具之一，其重要性和应用范围日益扩大。本文将基于私塾在线《Hadoop实战——初级部分》的...

    【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip

    本资源"【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip"聚焦于Hadoop的基础知识，特别是对Hadoop进程的理解以及如何通过Web UI进行监控。这里我们将深入探讨Hadoop的核心组件、进程架构以及...

    Hadoop权威指南第四版中文版

    《Hadoop权威指南第四版中文版》是一本深入解析Hadoop生态系统的专业书籍，适合对大数据处理感兴趣的读者，包括初学者和经验丰富的开发者。Hadoop是Apache软件基金会的一个开源项目，核心是分布式文件系统HDFS...

    hadoop配置相关的好书

    理解JobTracker在旧版Hadoop中的角色以及如何与TaskTracker协同工作，有助于我们更好地过渡到YARN架构。 最后，"slave"文件在Hadoop集群配置中扮演着重要角色。这个文件列出了集群中所有的DataNode和TaskTracker...

    Hadoop学习总结

    这包括监控JobTracker（在Hadoop 2.x中变为YARN的ResourceManager）的任务调度、TaskTracker（在Hadoop 2.x中变为NodeManager）的工作状态以及数据传输效率等。通过Hadoop提供的日志和监控工具，如Ganglia、Ambari或...

    Hadoop 权威指南 第四版 源码

    《Hadoop 权威指南》第四版是Hadoop领域的经典之作，它深入解析了Hadoop生态系统的各个方面，为读者提供了全面、权威的Hadoop知识。源码是这本书的重要补充，帮助读者更直观地理解书中所述的技术原理和实现细节。本...

    hadoop学习源码学习（二）

    ##### TaskTracker初始化及与JobTracker的通信 1. **初始化阶段**： - TaskTracker在启动之初会初始化一系列参数和服务，例如配置文件读取、日志系统的设置等。 - 随后，TaskTracker试图与JobTracker建立连接。若...

    Hadoop权威指南中文第2版

    4. **Hadoop生态**：介绍Hadoop生态系统中的其他组件，如YARN（取代了原JobTracker的角色）、HBase（分布式列式数据库）、Hive（数据仓库工具）、Pig（数据分析平台）和Zookeeper（分布式协调服务）等，展示Hadoop...

    Hadoop云计算2.0笔记第一课Hadoop介绍

    Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍中，我们可以了解到 Hadoop 的生态系统特点、Hadoop 生态系统概况、Hadoop 生态系统版本衍化、下一代 Hadoop、Hadoop 学习经验等方面的知识点。 1. Hadoop 生态系统特点：...

    hadoop学习笔记

    Hadoop架构包含NameNode、DataNode、JobTracker和TaskTracker等关键组件。 1. NameNode：主节点，负责管理文件系统的命名空间和数据块映射信息，是HDFS的元数据中心。 2. DataNode：工作节点，存储数据块，执行...

    基于Ubuntu的hadoop集群安装与配置

    本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置，涵盖Hadoop的基本概念、HDFS（分布式文件系统）、MapReduce（分布式计算模型）、集群架构、NameNode和DataNode的角色、JobTracker和TaskTracker的职责等方面...

    hadoop-1.0.1官方版本

    虽然在【hadoop-1.0.1官方版本】中没有YARN，但可以借此了解早期Hadoop中MapReduce是如何与JobTracker和TaskTracker协同工作的。 在压缩包中，你可能会找到以下关键组件： 1. `bin/`: 包含可执行脚本，如启动和停止...

    hadoop-src源代码

    1. `hadoop-mapreduce`：包含JobTracker、TaskTracker和Task等组件。JobTracker负责作业调度，TaskTracker在节点上执行任务，Task则表示一个具体的计算任务。 2. `MapReduceRuntime`：负责Map和Reduce任务的生命...

    Hadoop实战+源代码

    2. **Hadoop架构**：Hadoop集群通常包括NameNode、DataNode、JobTracker和TaskTracker等组件。NameNode负责元数据管理，DataNode负责数据存储，JobTracker调度任务，TaskTracker执行具体任务。YARN（Yet Another ...

Magicbox
Global site tag (gtag.js) - Google Analytics