`
m635674608
  • 浏览: 5062826 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

hadoop集群之HDFS和YARN启动和停止命令

 
阅读更多

假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下：

hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager；

hadoop02：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager；

hadoop03：1个datenode，1个journalnode，1个nodemanager；

 

下面我们来介绍启动hdfs和yarn的一些命令。

 

1.启动hdfs集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/start-dfs.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-dfs.sh 
Starting namenodes on [hadoop01 hadoop02]
hadoop01: starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop01.out
hadoop02: starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop02.out
hadoop03: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop03.out
hadoop02: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop02.out
hadoop01: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop01.out
Starting journal nodes [hadoop01 hadoop02 hadoop03]
hadoop03: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop03.out
hadoop02: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop02.out
hadoop01: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop01.out
Starting ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop01.out
hadoop02: starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop02.out
[root@hadoop01 ~]#
复制代码

从上面的启动日志可以看出，start-dfs.sh这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。

 

2.停止hdfs集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/stop-dfs.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-dfs.sh 
Stopping namenodes on [hadoop01 hadoop02]
hadoop02: stopping namenode
hadoop01: stopping namenode
hadoop02: stopping datanode
hadoop03: stopping datanode
hadoop01: stopping datanode
Stopping journal nodes [hadoop01 hadoop02 hadoop03]
hadoop03: stopping journalnode
hadoop02: stopping journalnode
hadoop01: stopping journalnode
Stopping ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: stopping zkfc
hadoop02: stopping zkfc
[root@hadoop01 ~]#
复制代码

3.启动单个进程

[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop02.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop02.out
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop03.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop02.out
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop03.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start zkfc
starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start zkfc
starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop02.out

 分别查看启动后3台虚拟机上的进程情况：

复制代码
[root@hadoop01 ~]# jps
6695 DataNode
2002 QuorumPeerMain
6879 DFSZKFailoverController
7035 Jps
6800 JournalNode
6580 NameNode
[root@hadoop01 ~]#
复制代码

 

复制代码
[root@hadoop02 ~]# jps
6360 JournalNode
6436 DFSZKFailoverController
2130 QuorumPeerMain
6541 Jps
6255 DataNode
6155 NameNode
[root@hadoop02 ~]#
复制代码

 

[root@hadoop03 apps]# jps
5331 Jps
5103 DataNode
5204 JournalNode
2258 QuorumPeerMain
[root@hadoop03 apps]#

 

3.停止单个进程

复制代码
[root@hadoop01 ~]# jps
6695 DataNode
2002 QuorumPeerMain
8486 Jps
6879 DFSZKFailoverController
6800 JournalNode
6580 NameNode
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop zkfc
stopping zkfc
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop namenode
stopping namenode
[root@hadoop01 ~]# jps
2002 QuorumPeerMain
8572 Jps
[root@hadoop01 ~]#
复制代码

 

复制代码
[root@hadoop02 ~]# jps
6360 JournalNode
6436 DFSZKFailoverController
2130 QuorumPeerMain
7378 Jps
6255 DataNode
6155 NameNode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop zkfc
stopping zkfc
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop namenode
stopping namenode
[root@hadoop02 ~]# jps
7455 Jps
2130 QuorumPeerMain
[root@hadoop02 ~]#
复制代码

 

复制代码
[root@hadoop03 apps]# jps
5103 DataNode
5204 JournalNode
5774 Jps
2258 QuorumPeerMain
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop03 apps]# jps
5818 Jps
2258 QuorumPeerMain
[root@hadoop03 apps]#
复制代码

 

 

3.启动yarn集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/start-yarn.sh

 

复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /root/apps/hadoop/logs/yarn-root-resourcemanager-hadoop01.out
hadoop03: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop03.out
hadoop02: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop02.out
hadoop01: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop01.out
[root@hadoop01 ~]#
复制代码

 

从上面的启动日志可以看出，start-yarn.sh启动脚本只在本地启动一个ResourceManager进程，而3台机器上的nodemanager都是通过ssh的方式启动的。所以hadoop02机器上的ResourceManager需要我们手动去启动。

4.启动hadoop02上的ResourceManager进程

/root/apps/hadoop/sbin/yarn-daemon.sh start resourcemanager

 

 

 5.停止yarn

/root/apps/hadoop/sbin/stop-yarn.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-yarn.sh 
stopping yarn daemons
stopping resourcemanager
hadoop01: stopping nodemanager
hadoop03: stopping nodemanager
hadoop02: stopping nodemanager
no proxyserver to stop
[root@hadoop01 ~]#
复制代码

 

 通过上面的停止日志可以看出，stop-yarn.sh脚本只停止了本地的那个ResourceManager进程，所以hadoop02上的那个resourcemanager我们需要单独去停止。

 

6.停止hadoop02上的resourcemanager

/root/apps/hadoop/sbin/yarn-daemon.sh stop resourcemanager

 

 

注意：启动和停止单个hdfs相关的进程使用的是"hadoop-daemon.sh"脚本，而启动和停止yarn使用的是"yarn-daemon.sh"脚本。

 

http://www.cnblogs.com/jun1019/p/6266615.html

分享到：
| Hadoop端口一览表
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    1-1-HDFS+and+YARN.pdf

    Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责...

    大数据之hadoop分布式集群初次启动.pdf

    自动启动 Hadoop 集群可以使用命令 start-all.sh，启动过程将自动启动 HDFS 和 YARN 模块。 五、总结 Hadoop 分布式集群初次启动是大数据处理的重要步骤，涉及到多个知识点，包括 ssh 免密登录、HDFS 格式化、...

    hadoop2.x集群搭建.txt（hdfs和yarn貌似正常，但mapreduce 提交job执行失败，请看我的另一个资源，另一个搭建是成功的）

    根据提供的文件信息，本文将详细解析Hadoop 2.x集群的搭建步骤以及遇到的问题，特别是针对MapReduce提交Job执行失败的情况进行分析。...希望本篇文章能帮助读者顺利搭建自己的Hadoop集群，并解决可能遇到的问题。

    大数据技术基础实验报告-Hadoop集群的使用和管理.doc

    本实验报告将深入探讨Hadoop集群的启动、管理和使用，以及如何运行Hadoop自带的WordCount示例程序。 **一、Hadoop集群的启动与关闭** 1. **启动集群**：使用`start-all.sh`脚本启动整个Hadoop集群，包括NameNode、...

    大数据之hadoop分布式集群初次启动.docx

    本文档主要讲解了Hadoop分布式集群的初次启动过程，包括配置SSH免密登录、格式化HDFS、启动HDFS和YARN模块等步骤。 一、配置SSH免密登录 在Hadoop分布式集群中，需要配置集群中各个节点之间的SSH免密登录，以便于...

    从零开始一步步介绍如何搭建Hadoop集群

    5. **启动Hadoop服务**：通过`start-dfs.sh`和`start-yarn.sh`脚本启动HDFS和YARN服务。 6. **测试Hadoop集群**：通过简单的WordCount程序或其他示例程序测试Hadoop集群的功能。 #### 六、结语 本文详细介绍了...

    Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南

    主机规划是搭建Hadoop集群的基础，合理的规划可以提高系统的稳定性和效率。根据文档提供的信息，以下是主机规划的细节： - **IP地址**：192.168.137.130、192.168.137.131、192.168.137.132。 - **主机名**：hadoop...

    HadoopHA集群配置文件

    本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...

    HadoopHA集群部署、YARNHA测试Job教学课件.pptx

    Hadoop HA 主要指的是 HDFS（Hadoop Distributed File System）和 YARN（Yet Another Resource Negotiator）的高可用性。本教程将重点讲解如何部署 Hadoop HA 集群以及如何在 YARN HA 环境下测试 MapReduce 作业。 ...

    hadoop技术内幕mr_hdfs_yarn PDF 3本全

    《Hadoop技术内幕》系列书籍包含了MapReduce、YARN和HDFS三个核心组件的深入解析，是理解Hadoop生态系统不可或缺的资源。以下是这些主题的详细概述： **Hadoop MapReduce** MapReduce是Hadoop处理大数据的主要计算...

    Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

    最后，进行Hadoop集群的分布式环境配置，包括配置Hadoop的配置文件如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`和`mapred-site.xml`，确保集群可以正确地运行和交互。 任务2涉及MapReduce程序的开发。首先...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    6. 启动Hadoop：执行`start-dfs.sh`和`start-yarn.sh`启动Hadoop服务。 三、HDFS基础 1. 文件系统模型：HDFS采用主从结构，由一个Namenode作为元数据管理节点，多个Datanode作为数据存储节点。 2. 文件切块：HDFS将...

    Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）

    CDH5.5.0是CDH的一个版本，包含了Hadoop的多个组件，如HDFS、YARN等，并且提供了方便的图形化安装和配置工具，使得部署和管理Hadoop集群变得更加便捷。 在CDH5.5.0中，HDFS（Hadoop Distributed File System）和...

    Hadoop2.6集群环境搭建（HDFS HA+YARN）

    接下来，我们需要手动配置虚拟机的IP地址，以适应Hadoop集群的需求。例如，可以设定如下IP地址： - 主NameNode（Active NameNode）：192.168.249.130 - 备用NameNode（Standby NameNode）：192.168.249.131 - ...

    【自动化脚本】自动启动hdfs/yarn/spark HA集群

    脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、...

    Hadoop集群搭建总结

    4. **启动Hadoop服务**：在所有节点上启动HDFS和YARN服务。 5. **验证集群状态**：检查Hadoop Web界面确认所有服务正常运行。 #### 四、Hadoop集群优化与运维 在搭建好Hadoop集群后，还需要进行性能优化和日常维护...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    启动配置好的YARN HA集群，包括Active和Standby两个ResourceManager实例，以及其他YARN组件如NodeManager和服务。 **任务六：启动历史服务** 启动集群历史服务，如HistoryServer，以便记录和查询过去作业的历史...

    启动Hadoop的HDFS提交一个Spark作业到YARN上运行

    启动Hadoop的HDFS提交一个Spark作业到...停止服务：在示例脚本的末尾，我注释掉了停止YARN和HDFS的命令。在大多数生产环境中，你不会在提交作业的脚本中停止这些服务。相反，它们会在集群的维护窗口期间被管理员停止。

    细细品味Hadoop_Hadoop集群（第9期）_MapReduce初级案例

    同时，案例研究将帮助理解Hadoop集群的管理和监控，以及如何优化MapReduce作业性能，如设置合适的分区器、Combiner和Shuffle阶段的配置等。 总的来说，掌握Hadoop和MapReduce对于任何希望在大数据领域工作的专业...

    hadoop集群安装、配置、维护文档

    以上各步骤都需要对Hadoop架构有深入理解，包括HDFS、YARN和MapReduce的工作原理。在实际操作中，还要考虑集群的安全性，如设置防火墙规则，使用安全认证机制如Kerberos，以及监控和日志管理。维护Hadoop集群还包括...

Magicbox
Global site tag (gtag.js) - Google Analytics