`
superlxw1234
  • 浏览: 551370 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44446
社区版块
存档分类
最新评论

Hadoop启动脚本执行流程

 
阅读更多

 

在bin/hadoop 这个脚本中,有如下片段:

 

# figure out which class to run
if [ "$COMMAND" = "namenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
elif [ "$COMMAND" = "secondarynamenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
elif [ "$COMMAND" = "datanode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_DATANODE_OPTS"
elif [ "$COMMAND" = "fs" ] ; then
  CLASS=org.apache.hadoop.fs.FsShell
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfs" ] ; then
  CLASS=org.apache.hadoop.fs.FsShell
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfsadmin" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.DFSAdmin
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "mradmin" ] ; then
  CLASS=org.apache.hadoop.mapred.tools.MRAdmin
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "fsck" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.DFSck
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "balancer" ] ; then
  CLASS=org.apache.hadoop.hdfs.server.balancer.Balancer
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_BALANCER_OPTS"
elif [ "$COMMAND" = "jobtracker" ] ; then
  CLASS=org.apache.hadoop.mapred.JobTracker
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_JOBTRACKER_OPTS"
elif [ "$COMMAND" = "tasktracker" ] ; then
  CLASS=org.apache.hadoop.mapred.TaskTracker
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_TASKTRACKER_OPTS"
elif [ "$COMMAND" = "job" ] ; then
  CLASS=org.apache.hadoop.mapred.JobClient
elif [ "$COMMAND" = "queue" ] ; then
  CLASS=org.apache.hadoop.mapred.JobQueueClient
elif [ "$COMMAND" = "pipes" ] ; then
  CLASS=org.apache.hadoop.mapred.pipes.Submitter
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "version" ] ; then
  CLASS=org.apache.hadoop.util.VersionInfo
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "jar" ] ; then
  CLASS=org.apache.hadoop.util.RunJar
elif [ "$COMMAND" = "distcp" ] ; then
  CLASS=org.apache.hadoop.tools.DistCp
  CLASSPATH=${CLASSPATH}:${TOOL_PATH}
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "daemonlog" ] ; then
  CLASS=org.apache.hadoop.log.LogLevel
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "archive" ] ; then
  CLASS=org.apache.hadoop.tools.HadoopArchives
  CLASSPATH=${CLASSPATH}:${TOOL_PATH}
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "sampler" ] ; then
  CLASS=org.apache.hadoop.mapred.lib.InputSampler
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
else
  CLASS=$COMMAND
fi
 

 

而这些类,正是带有main方法的可执行类。

分享到:
评论

相关推荐

    hadoop全分布式-脚本一键安装

    这一步是为了确保脚本能自动化地执行安装流程,避免手动操作的繁琐。 在"标签"中提到的"Hadoop脚本",通常指的是bash脚本,它会包含一系列Linux命令,用于执行上述的安装任务。脚本可能会包含以下操作: 1. 检查...

    hadoop环境部署自动化shell脚本(伪分布式、完全分布式集群搭建).docx

    【Hadoop环境部署自动化Shell脚本】是一种高效的方法,用于快速搭建Hadoop集群,无论是用于学习还是开发。本文档提供了一个详细的脚本,涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤,旨在降低...

    hadoop集群免密钥配置脚本

    1. `priority`:可能是一个用于设置脚本执行顺序的文件,例如,定义哪些脚本先执行,哪些后执行。 2. `READ_ME.txt`:通常这是一个说明文档,包含了如何使用这些脚本的详细步骤和注意事项。 3. `hosts`:这是一个...

    一键安装Hadoop.zip

    4. **执行脚本**:运行脚本,它会自动处理大部分配置工作,如安装Apache Hadoop,配置环境变量,创建Hadoop用户,设置SSH无密码登录等。 5. **配置Hadoop**:虽然脚本可能已经自动配置了一些基础设置,但根据实际...

    基于Kubernetes平台部署Hadoop实践.docx

    我们还提供了镜像的启动脚本,用于启动不同的Hadoop组件。通过本文,你可以了解如何将Hadoop部署到Kubernetes平台上,并解决Hadoop在Kubernetes上的部署问题。 关键点: * Hadoop在Kubernetes上的部署需要深入了解...

    Hadoop环境搭建、配置及通过执行计算来验证的示例

    Hadoop的目录结构包括 `$HADOOP_HOME/bin`,其中包含了各种命令行工具,如启动和停止Hadoop服务的脚本;`$HADOOP_HOME/conf` 存放所有配置文件,如`hadoop-env.sh`、`core-site.xml`、`mapred-site.xml` 和 `hdfs-...

    基于单机的Hadoop伪分布式运行模拟实现

    4. **启动Hadoop**:执行Hadoop的启动脚本,如`start-dfs.sh`和`start-yarn.sh`,启动HDFS和YARN服务。 5. **测试运行**:通过`hadoop fs -ls`命令检查HDFS是否正常工作,运行MapReduce示例程序如WordCount,验证伪...

    Hadoop从入门到上手企业开发

    059 MR作业运行流程整体分析 060 MapReduce执行流程之Shuffle和排序流程以及Map端分析 061 MapReduce执行流程之Reduce端分析 062 MapReduce Shuffle过程讲解和Map Shuffle Phase讲解 063 Reduce Shuffle Phase讲解 ...

    如何使用eclipse调试Hadoop作业

    在IT行业中,尤其是在大数据处理领域,Hadoop...通过这些方法,你可以深入理解Hadoop作业的执行流程,找出并修复问题,提升作业的性能和稳定性。在实际操作中,不断实践和学习,你的Hadoop开发和调试技能将会日益精进。

    windows_hadoop2.7.6

    通常,这些脚本用于启动和停止Hadoop服务,如`start-dfs.sh`和`stop-dfs.sh`用于启动和停止HDFS,`start-yarn.sh`和`stop-yarn.sh`用于启动和停止YARN。 最后,启动Hadoop服务,你可以使用`sbin/start-all.sh`命令...

    win10下编译过的hadoop jar包--hadoop-2.7.2.zip

    1. `bin`: 包含Hadoop的可执行脚本,如启动和停止Hadoop服务的命令。 2. `sbin`: 存放管理脚本,用于管理Hadoop集群。 3. `lib`: Hadoop的库文件,包含了运行Hadoop所需的各种依赖。 4. `etc/hadoop`: 配置文件目录...

    windows中安装Hadoop与Hbase

    6. 启动Hbase:在Hadoop启动并运行正常后,Hbase才能被启动和使用。 7. HbaseShell:使用命令行接口与Hbase数据库交互,包括创建表、扫描表内容、获取一行数据、删除表以及关闭shell。 8. JavaAPIHbase:这部分...

    hadoop介绍

    Hadoop可以在Linux系统上直接安装,但也有针对Windows平台的解决方案,例如Hadoop4Win,它实际上是将Linux环境与Hadoop打包在一起的安装包,以简化安装流程。 **Hadoop4Win安装步骤**: 1. **选择语言**:安装程序...

    spring data hadoop reference

    当使用脚本化方法操作 Hadoop 文件系统时,Spring Hadoop 提供了一种机制来管理脚本的生命周期,这有助于更好地控制脚本的执行流程。 ##### 3.5 使用 Scripting Tasklet `ScriptingTasklet` 是一种特殊的 Tasklet,...

    hadoop-3.2.2.tar.gz

    1. **bin**: 包含Hadoop的可执行脚本,如启动和停止Hadoop服务的命令。 2. **conf**: 存放默认配置文件,如core-site.xml、hdfs-site.xml和yarn-site.xml,它们定义了Hadoop集群的行为。 3. **lib**: Hadoop运行时所...

    windows下安装hadoop的依赖库

    7. **启动Hadoop服务**: 使用`start-dfs.bat`和`start-yarn.bat`脚本启动HDFS和YARN服务。然后可以通过Web UI(默认端口分别为50070和8088)监控集群状态。 8. **验证安装**: 执行`hadoop fs -ls /`命令,如果返回...

    基于Hadoop的ETL处理Shell架构

    通过Hadoop的API或命令行工具,Shell脚本可以启动MapReduce作业,进一步处理数据,例如进行聚合、分类、关联分析等。 此外,Shell脚本还可以实现流程控制,如循环、条件判断,使得ETL过程更加灵活。通过编写脚本,...

Global site tag (gtag.js) - Google Analytics