`
bit1129
  • 浏览: 1067845 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【Hadoop十四】Hadoop提供的脚本的功能

 
阅读更多

1. hadoop-daemon.sh

1.1 启动HDFS

./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode

 
通过这种逐步启动的方式,比start-all.sh方式少了一个SecondaryNameNode进程,这不影响Hadoop的使用,其实在 Hadoop2.0中,SecondaryNameNode的功能被NameNode HA(Standby NameNode取代)
可以通过查看日志/home/hadoop/software/hadoop-2.5.2/logs/hadoop-hadoop-datanode-hadoop.master.log
HDFS启动成功后就可以通过浏览器访问50070,可以看到HDFS的状态,而无需YARN启动才使用HDFS

 

1.2 启动JournalNode

./hadoop-daemon.sh start journalnode

2. yarn-daemon.sh


启动YARN

./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager



3. hadoo-daemons.sh,hadoop-daemon.sh

 

1. 停掉集群中的一个DataNode

到要停掉DataNode的节点指定如下命令:./hadoop-daemon.sh stop datanode

2. 停掉集群的所有DataNode和NameNode

在namenode上执行如下命令:sbin/stop-dfs.sh

说明:stop-dfs.sh表示停止HDFS的所有DataNode以及NameNode

3. 停掉集群的所有DataNode,但是不停止NameNode

在NameNode节点执行如下命令:
 ./hadoop-daemons.sh stop datanode
 
4. 只停止NameNode,而不停止DataNode(不考虑这种情况),
在NameNode节点执行如下命令:
 ./hadoop-daemons.sh stop namenode

分享到:
评论

相关推荐

    hadoop全分布式-脚本一键安装

    在"标签"中提到的"Hadoop脚本",通常指的是bash脚本,它会包含一系列Linux命令,用于执行上述的安装任务。脚本可能会包含以下操作: 1. 检查系统环境,确认是否满足Hadoop的安装需求,例如操作系统版本、内存大小等...

    hadoop环境部署自动化shell脚本(伪分布式、完全分布式集群搭建).docx

    **脚本功能** 1. **Java环境一键配置**:自动安装Java运行环境,确保Hadoop能够正常运行。 2. **Hadoop单机版安装**:为单台机器快速安装Hadoop,适合个人学习。 3. **Hadoop伪分布式安装**:在一台机器上模拟多...

    HadoopHA集群 批量启动脚本

    HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本

    hadoop 高可用集群一键启动脚本

    hadoop 高可用启动脚本,运行启动zookeeper集群和hadoop ha集群

    hadoop集群安装脚本

    9. **监控与维护**:提供监控脚本或工具,用于监控Hadoop集群的性能和健康状态,便于后期的维护和优化。 自动化安装多系统多软件测试版可能意味着这个脚本不仅能安装Hadoop和Zookeeper,还可能涵盖了其他相关的...

    脚本搭建hadoop集群

    脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...

    用python编写nagios hadoop监控脚本

    标题 "用python编写nagios hadoop监控脚本" 暗示了本文将探讨如何使用Python编程语言来创建Nagios监控系统针对Hadoop集群的监控...学习和理解这些脚本有助于提升对Hadoop监控的理解,也能为自定义监控需求提供参考。

    shell脚本配置Hadoop伪分布式.zip

    伪分布式模式是在单个节点上模拟分布式环境,这对于学习和测试Hadoop功能非常有用,无需复杂的多节点集群设置。 1. **Hadoop-2.8.1**: 这是Hadoop的特定版本,2.8.1是Hadoop 2.x系列的一个稳定版本。这个版本提供了...

    hadoop集群免密钥配置脚本

    这个压缩包提供的脚本集合大大简化了Hadoop集群的初始化和维护工作,对于运维人员来说是一个非常有价值的工具。在实际应用中,务必根据自己的集群环境调整脚本内容,确保安全性和适应性。同时,理解这些脚本的工作...

    hadoop停止集群的脚本

    停止集群麻烦,所以写的脚本。私我可以免费发给你。上传只为自己以后用,防止丢失。

    Hadoop高可用自动化安装使用Shell脚本

    在分布式计算领域,Hadoop是不可或缺的关键组件,它提供了可靠的数据存储(HDFS)和大规模数据处理(MapReduce)能力。对于大型企业或研究机构,Hadoop集群的高可用性至关重要,以确保服务的连续性和数据的安全性。...

    hadoop-2.8.1完全分布式搭建脚本和配置文件

    这个压缩包文件"hadop-2.8.1完全分布式搭建脚本和配置文件"提供了在集群环境中搭建Hadoop 2.8.1版本的详细步骤,特别强调了高可用性和自动化配置。 1. **Hadoop 2.8.1**:这是Hadoop的一个稳定版本,它包含了对HDFS...

    hadoop2.7.3启动脚本流程

    在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!

    hadoop 部分 shell 脚本

    综上所述,Hadoop Shell脚本是Hadoop生态系统中的重要工具,它结合了Bash的强大功能和Hadoop命令行工具,为大数据处理提供了极大的便利。熟练掌握Shell脚本编写,能够有效提升Hadoop集群的管理和运维效率。

    Hadoop源码分析 第一章 Hadoop脚本

    《Hadoop源码分析 第一章 Hadoop脚本》 Hadoop是大数据处理领域中的一个核心框架,它为海量数据的存储和计算提供了分布式解决方案。本文将深入剖析Hadoop脚本,带你理解其背后的实现机制,这对于理解Hadoop的工作...

    hadoop2.7.3 Winutils.exe hadoop.dll

    Winutils.exe是Hadoop在Windows系统上的一个实用工具,它提供了与Linux系统中bin/hadoop脚本类似的功能。这个工具主要用于执行Hadoop相关的操作,如配置HDFS(Hadoop分布式文件系统)设置、管理HDFS上的文件和目录,...

    Hadoop部署脚本

    Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。 Hadoop YARN:作业调度和集群资源管理的框架。 Hadoop MapReduce:一种用于并行处理大型数据集的基于YARN的系统。

    Hadoop2的HA配置一键运行脚本startall

    【标题】"Hadoop2的HA配置一键运行脚本startall"主要涉及到的是在Hadoop分布式文件系统(HDFS)中实现高可用性(High Availability, HA)的配置方法。Hadoop HA允许NameNode(Hadoop的核心组件之一,负责管理文件...

    hadoop环境搭建脚本

    hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境

    hadoop2.7.3的hadoop.dll和winutils.exe

    在Linux上,这些功能通常由`bin/hadoop`脚本完成,但在Windows上,由于命令行和文件系统的差异,需要一个单独的可执行文件来模拟这些行为。`winutils.exe`可以帮助用户管理HDFS、设置Hadoop环境变量、启动和停止...

Global site tag (gtag.js) - Google Analytics