`
小网客
  • 浏览: 1241339 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop中几个重要的进程

 
阅读更多

通过jps可以查看相应的进程列表,主要进程如下:

org.apache.hadoop.hdfs.server.namenode.NameNode;
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode;
org.apache.hadoop.hdfs.server.datanode.DataNode;
org.apache.hadoop.mapred.JobTracker;
org.apache.hadoop.mapred.TaskTracker;

 

NameNode:

Hadoop中神经中枢,Hadoop是单节点的(虽然有SecondaryNameNode),NameNode里存储的是元数据,那些数据文件在那些DataNode里存储。DataNode发生变化的时候会向他汇报自己的数据状态信息

SecondaryNameNode:

只跟NameNode进行通信,随时待命(需要手动才能将他变为NameNode),也就是NameNode的一个备份。

DataNode:

具体的数据节点。

JobTracker:

Job的调度,任务的分配。

TaskTracker:

执行具体的Job,与JobTracker进行通信,当JobTracker感觉不到他的存在的时候就会重启一个任务到其他的节点中去,

 

0
10
分享到:
评论

相关推荐

    实战hadoop中的源码

    深入学习Hadoop源码,我们可以探讨以下几个关键知识点: 1. **Hadoop架构**:理解Hadoop的分布式文件系统(HDFS)和MapReduce计算模型,以及YARN资源调度器的工作原理。 2. **HDFS**:研究HDFS的数据块、副本策略...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,...正确配置和使用这个dll文件,对于在Windows上搭建和操作Hadoop集群至关重要。理解DLL文件的工作原理以及如何在Hadoop生态系统中配置和管理它们,是成功部署和使用Hadoop的关键。

    hadoop的hadoop.dll和winutils.exe下载

    3. 安装过程中,确保正确配置Hadoop的环境变量,包括`HADOOP_HOME`、`HADOOP_COMMON_HOME`、`HADOOP_HDFS_HOME`等,以便系统能够找到必要的库文件和可执行文件。 在Windows上运行Hadoop可能会比在Linux上复杂一些,...

    【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip

    在Hadoop集群中,存在几个关键的进程: 1. NameNode:它是HDFS的主节点,负责管理文件系统的命名空间(元数据),如目录和文件的映射关系,以及块到DataNode的映射。 2. DataNode:每个节点上运行的一个进程,存储...

    hadoop环境缺少的hadoop.dll ,winutils.exe包

    在搭建Hadoop环境的过程中,经常会遇到一些特定的依赖问题,比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用,以及如何解决它们缺失的问题。 首先,`...

    hadoop.dll & winutils.exe For hadoop-2.8.0

    配置Hadoop-2.8.0在Windows上的步骤通常包括以下几个部分: 1. **下载和解压Hadoop**:获取Hadoop的二进制发行版,并将其解压缩到本地文件系统。 2. **配置环境变量**:设置HADOOP_HOME、PATH等环境变量,指向...

    hadoop-2.7.2.rar

    Hadoop 2.7.2是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理变得更加高效和可靠。在这个版本中,主要包含两个核心组件:HDFS(Hadoop Distributed File System)和...

    Hadoop实现大矩阵乘法

    为了更好地理解这个实现,初学者应熟悉以下几个关键点: 1. Hadoop的MapReduce编程模型,包括InputFormat、Mapper、Partitioner、Reducer和OutputFormat等组件的作用。 2. Java的IO流和序列化,因为数据需要在网络间...

    hadoop2.6,hadoop.dll、winutils.exe下载

    Hadoop 2.6是Hadoop发展过程中的一个重要版本,它带来了许多性能优化和功能改进,旨在提高集群效率和稳定性。本资源提供了适用于64位操作系统的Hadoop相关组件,包括hadoop.dll和winutils.exe,这对于在Windows环境...

    Hadoop课程实验和报告——Hadoop安装实验报告

    在安装过程中,需要注意的是,在安装过程中,需要使用Master节点的IP地址,而不是localhost。否则,可能会出现链接错误。 三、测试 在Eclipse中创建项目,并将官方文档中的代码粘贴进入,然后运行测试。运行结果...

    大数据安全-kerberos技术-hadoop安装包,hadoop版本:hadoop-3.3.4.tar.gz

    在配置过程中,还需要注意以下几点: 1. 修改Hadoop配置文件(如core-site.xml、hdfs-site.xml、yarn-site.xml等),设置安全相关的参数,启用Kerberos认证。 2. 配置Hadoop的kerberos认证策略,例如,决定哪些操作...

    hadoop.dll、winutils.exe

    在这个场景中,`hadoop.dll` 和 `winutils.exe` 是在Windows环境中配置Hadoop所必需的二进制文件,特别是对于那些在非Linux系统上运行Hadoop集群的用户来说,这两个文件至关重要。 `hadoop.dll` 是一个动态链接库...

    使用docker部署hadoop集群的详细教程

    最近要在公司里搭建一个hadoop测试集群,于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。 目标:使用docker搭建一个一主两从三台机器...

    hadoop-3.2.0.tar.gz

    Hadoop 3.2.0是Hadoop发展过程中的一个重要版本,它在前一个版本的基础上进行了许多优化和改进,旨在提高系统的性能、稳定性和可扩展性。 在Hadoop 3.2.0中,我们可以关注以下几个关键知识点: 1. **YARN(Yet ...

    hadoop2.7.5 在windows下需要的hadoop.dll winutils.exe等文件(bin目录)

    在`bin`目录下还有其他几个重要的命令脚本,如`yarn.cmd`、`hadoop.cmd`、`hdfs.cmd`和`mapred.cmd`。这些脚本是Windows下的批处理文件,用于启动和管理Hadoop的不同服务和组件。例如,`hadoop.cmd`用于执行Hadoop的...

    hadoop-2.7.5.tar.gz原始安装包

    Hadoop 2.7.5是Hadoop发展过程中的一个重要版本,提供了许多改进和新特性,使得它在处理大规模数据时更为高效和稳定。 在Hadoop 2.7.5的压缩包中,我们可以找到以下关键组件和文件: 1. **Hadoop Common**:这是...

    hadoop2.8.3包含winutils.exe和hadoop.dll

    Hadoop是大数据处理领域中的一个核心框架,主要由Apache软件基金会开发。它的设计目标是处理和存储海量数据,尤其在分布式环境下的大规模集群上。Hadoop2.8.3是这个开源项目的一个稳定版本,提供了许多性能改进和新...

    Hadoop构建数据仓库实践1_hadoop_

    构建数据仓库在Hadoop上,通常涉及以下几个步骤: 1. 数据获取:这是数据仓库生命周期的起点,数据可以从各种源(如日志、数据库、社交媒体等)导入到Hadoop集群。Hadoop支持多种工具,如Flume和Sqoop,用于高效地...

    hadoop_eclipse插件

    安装Hadoop Eclipse插件的过程通常包括以下几个步骤: 1. 下载对应版本的插件JAR文件。 2. 在Eclipse中,选择“Help” -> “Install New Software”。 3. 在“Work with”下拉框中,选择“Add”。 4. 输入插件的临时...

Global site tag (gtag.js) - Google Analytics