`
m635674608
  • 浏览: 5027263 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

hadoop集群之HDFS和YARN启动和停止命令

 
阅读更多

假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下：

hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager；

hadoop02：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager；

hadoop03：1个datenode，1个journalnode，1个nodemanager；

 

下面我们来介绍启动hdfs和yarn的一些命令。

 

1.启动hdfs集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/start-dfs.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-dfs.sh 
Starting namenodes on [hadoop01 hadoop02]
hadoop01: starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop01.out
hadoop02: starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop02.out
hadoop03: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop03.out
hadoop02: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop02.out
hadoop01: starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop01.out
Starting journal nodes [hadoop01 hadoop02 hadoop03]
hadoop03: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop03.out
hadoop02: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop02.out
hadoop01: starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop01.out
Starting ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop01.out
hadoop02: starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop02.out
[root@hadoop01 ~]#
复制代码

从上面的启动日志可以看出，start-dfs.sh这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。

 

2.停止hdfs集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/stop-dfs.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-dfs.sh 
Stopping namenodes on [hadoop01 hadoop02]
hadoop02: stopping namenode
hadoop01: stopping namenode
hadoop02: stopping datanode
hadoop03: stopping datanode
hadoop01: stopping datanode
Stopping journal nodes [hadoop01 hadoop02 hadoop03]
hadoop03: stopping journalnode
hadoop02: stopping journalnode
hadoop01: stopping journalnode
Stopping ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: stopping zkfc
hadoop02: stopping zkfc
[root@hadoop01 ~]#
复制代码

3.启动单个进程

[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop/logs/hadoop-root-namenode-hadoop02.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop02.out
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop/logs/hadoop-root-datanode-hadoop03.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop02.out
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /root/apps/hadoop/logs/hadoop-root-journalnode-hadoop03.out
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start zkfc
starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop01.out
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh start zkfc
starting zkfc, logging to /root/apps/hadoop/logs/hadoop-root-zkfc-hadoop02.out

 分别查看启动后3台虚拟机上的进程情况：

复制代码
[root@hadoop01 ~]# jps
6695 DataNode
2002 QuorumPeerMain
6879 DFSZKFailoverController
7035 Jps
6800 JournalNode
6580 NameNode
[root@hadoop01 ~]#
复制代码

 

复制代码
[root@hadoop02 ~]# jps
6360 JournalNode
6436 DFSZKFailoverController
2130 QuorumPeerMain
6541 Jps
6255 DataNode
6155 NameNode
[root@hadoop02 ~]#
复制代码

 

[root@hadoop03 apps]# jps
5331 Jps
5103 DataNode
5204 JournalNode
2258 QuorumPeerMain
[root@hadoop03 apps]#

 

3.停止单个进程

复制代码
[root@hadoop01 ~]# jps
6695 DataNode
2002 QuorumPeerMain
8486 Jps
6879 DFSZKFailoverController
6800 JournalNode
6580 NameNode
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# 
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop zkfc
stopping zkfc
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop01 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop namenode
stopping namenode
[root@hadoop01 ~]# jps
2002 QuorumPeerMain
8572 Jps
[root@hadoop01 ~]#
复制代码

 

复制代码
[root@hadoop02 ~]# jps
6360 JournalNode
6436 DFSZKFailoverController
2130 QuorumPeerMain
7378 Jps
6255 DataNode
6155 NameNode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop zkfc
stopping zkfc
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop02 ~]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop namenode
stopping namenode
[root@hadoop02 ~]# jps
7455 Jps
2130 QuorumPeerMain
[root@hadoop02 ~]#
复制代码

 

复制代码
[root@hadoop03 apps]# jps
5103 DataNode
5204 JournalNode
5774 Jps
2258 QuorumPeerMain
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop journalnode
stopping journalnode
[root@hadoop03 apps]# /root/apps/hadoop/sbin/hadoop-daemon.sh stop datanode
stopping datanode
[root@hadoop03 apps]# jps
5818 Jps
2258 QuorumPeerMain
[root@hadoop03 apps]#
复制代码

 

 

3.启动yarn集群（使用hadoop的批量启动脚本）

/root/apps/hadoop/sbin/start-yarn.sh

 

复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /root/apps/hadoop/logs/yarn-root-resourcemanager-hadoop01.out
hadoop03: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop03.out
hadoop02: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop02.out
hadoop01: starting nodemanager, logging to /root/apps/hadoop/logs/yarn-root-nodemanager-hadoop01.out
[root@hadoop01 ~]#
复制代码

 

从上面的启动日志可以看出，start-yarn.sh启动脚本只在本地启动一个ResourceManager进程，而3台机器上的nodemanager都是通过ssh的方式启动的。所以hadoop02机器上的ResourceManager需要我们手动去启动。

4.启动hadoop02上的ResourceManager进程

/root/apps/hadoop/sbin/yarn-daemon.sh start resourcemanager

 

 

 5.停止yarn

/root/apps/hadoop/sbin/stop-yarn.sh
复制代码
[root@hadoop01 ~]# /root/apps/hadoop/sbin/stop-yarn.sh 
stopping yarn daemons
stopping resourcemanager
hadoop01: stopping nodemanager
hadoop03: stopping nodemanager
hadoop02: stopping nodemanager
no proxyserver to stop
[root@hadoop01 ~]#
复制代码

 

 通过上面的停止日志可以看出，stop-yarn.sh脚本只停止了本地的那个ResourceManager进程，所以hadoop02上的那个resourcemanager我们需要单独去停止。

 

6.停止hadoop02上的resourcemanager

/root/apps/hadoop/sbin/yarn-daemon.sh stop resourcemanager

 

 

注意：启动和停止单个hdfs相关的进程使用的是"hadoop-daemon.sh"脚本，而启动和停止yarn使用的是"yarn-daemon.sh"脚本。

 

http://www.cnblogs.com/jun1019/p/6266615.html

分享到：
| Hadoop端口一览表
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    1-1-HDFS+and+YARN.pdf

    Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责...

    大数据之hadoop分布式集群初次启动.pdf

    自动启动 Hadoop 集群可以使用命令 start-all.sh，启动过程将自动启动 HDFS 和 YARN 模块。 五、总结 Hadoop 分布式集群初次启动是大数据处理的重要步骤，涉及到多个知识点，包括 ssh 免密登录、HDFS 格式化、...

    hadoop2.x集群搭建.txt（hdfs和yarn貌似正常，但mapreduce 提交job执行失败，请看我的另一个资源，另一个搭建是成功的）

    根据提供的文件信息，本文将详细解析Hadoop 2.x集群的搭建步骤以及遇到的问题，特别是针对MapReduce提交Job执行失败的情况进行分析。...希望本篇文章能帮助读者顺利搭建自己的Hadoop集群，并解决可能遇到的问题。

    大数据技术基础实验报告-Hadoop集群的使用和管理.doc

    本实验报告将深入探讨Hadoop集群的启动、管理和使用，以及如何运行Hadoop自带的WordCount示例程序。 **一、Hadoop集群的启动与关闭** 1. **启动集群**：使用`start-all.sh`脚本启动整个Hadoop集群，包括NameNode、...

    大数据之hadoop分布式集群初次启动.docx

    本文档主要讲解了Hadoop分布式集群的初次启动过程，包括配置SSH免密登录、格式化HDFS、启动HDFS和YARN模块等步骤。 一、配置SSH免密登录 在Hadoop分布式集群中，需要配置集群中各个节点之间的SSH免密登录，以便于...

    Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南

    主机规划是搭建Hadoop集群的基础，合理的规划可以提高系统的稳定性和效率。根据文档提供的信息，以下是主机规划的细节： - **IP地址**：192.168.137.130、192.168.137.131、192.168.137.132。 - **主机名**：hadoop...

    HadoopHA集群配置文件

    本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...

    大数据之hadoop分布式集群初次启动 (2).docx

    * Hadoop 模块启动命令：start-dfs.sh、start-yarn.sh、start-all.sh 在本文中，我们详细地介绍了 Hadoop 分布式集群的启动过程，包括 SSH 免密登录、格式化 HDFS 和启动 Hadoop 模块等步骤。这些步骤是 Hadoop ...

    HadoopHA集群部署、YARNHA测试Job教学课件.pptx

    Hadoop HA 主要指的是 HDFS（Hadoop Distributed File System）和 YARN（Yet Another Resource Negotiator）的高可用性。本教程将重点讲解如何部署 Hadoop HA 集群以及如何在 YARN HA 环境下测试 MapReduce 作业。 ...

    Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

    最后，进行Hadoop集群的分布式环境配置，包括配置Hadoop的配置文件如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`和`mapred-site.xml`，确保集群可以正确地运行和交互。 任务2涉及MapReduce程序的开发。首先...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    6. 启动Hadoop：执行`start-dfs.sh`和`start-yarn.sh`启动Hadoop服务。 三、HDFS基础 1. 文件系统模型：HDFS采用主从结构，由一个Namenode作为元数据管理节点，多个Datanode作为数据存储节点。 2. 文件切块：HDFS将...

    Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）

    CDH5.5.0是CDH的一个版本，包含了Hadoop的多个组件，如HDFS、YARN等，并且提供了方便的图形化安装和配置工具，使得部署和管理Hadoop集群变得更加便捷。 在CDH5.5.0中，HDFS（Hadoop Distributed File System）和...

    Hadoop2.6集群环境搭建（HDFS HA+YARN）

    接下来，我们需要手动配置虚拟机的IP地址，以适应Hadoop集群的需求。例如，可以设定如下IP地址： - 主NameNode（Active NameNode）：192.168.249.130 - 备用NameNode（Standby NameNode）：192.168.249.131 - ...

    【自动化脚本】自动启动hdfs/yarn/spark HA集群

    脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、...

    Hadoop集群搭建总结

    4. **启动Hadoop服务**：在所有节点上启动HDFS和YARN服务。 5. **验证集群状态**：检查Hadoop Web界面确认所有服务正常运行。 #### 四、Hadoop集群优化与运维 在搭建好Hadoop集群后，还需要进行性能优化和日常维护...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    启动配置好的YARN HA集群，包括Active和Standby两个ResourceManager实例，以及其他YARN组件如NodeManager和服务。 **任务六：启动历史服务** 启动集群历史服务，如HistoryServer，以便记录和查询过去作业的历史...

    启动Hadoop的HDFS提交一个Spark作业到YARN上运行

    启动Hadoop的HDFS提交一个Spark作业到...停止服务：在示例脚本的末尾，我注释掉了停止YARN和HDFS的命令。在大多数生产环境中，你不会在提交作业的脚本中停止这些服务。相反，它们会在集群的维护窗口期间被管理员停止。

    hadoop技术内幕mr_hdfs_yarn PDF 3本全

    《Hadoop技术内幕》系列书籍包含了MapReduce、YARN和HDFS三个核心组件的深入解析，是理解Hadoop生态系统不可或缺的资源。以下是这些主题的详细概述： **Hadoop MapReduce** MapReduce是Hadoop处理大数据的主要计算...

    细细品味Hadoop_Hadoop集群（第9期）_MapReduce初级案例

    同时，案例研究将帮助理解Hadoop集群的管理和监控，以及如何优化MapReduce作业性能，如设置合适的分区器、Combiner和Shuffle阶段的配置等。 总的来说，掌握Hadoop和MapReduce对于任何希望在大数据领域工作的专业...

Magicbox
Global site tag (gtag.js) - Google Analytics