Hadoop实战-初级部分 之 Shell

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程

视频课程地址》》》 http://sishuok.com/product/481

整体课程概览

第一部分：开始云计算之旅

第二部分：初识Hadoop

第三部分：Hadoop 环境安装部署

第四部分：Hadoop Shell 基本操作介绍

第五部分：Hadoop  分布式文件系统1

第五部分：Hadoop  分布式文件系统2

第五部分：Hadoop  分布式文件系统3

第六部分：MapReduce  开发1

第六部分：MapReduce  开发2

第七部分：Hadoop集群的安装

 

第一部分：Hadoop Bin

后面根据项目的实际需要Hadoop Bin  包括:

Hadoop  hadoop的Shell

hadoop-config.sh 它的作用是对一些变量进行赋值

     HADOOP_HOME（hadoop的安装目录）。

     HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定的文件的地址）

hadoop-daemon.sh 单节点启动

hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh

start-all.sh    启动HDFS与MapReduce

start-balancer.sh 启动Hadoop的负载均衡

start-dfs.sh  启动HDFS

start-jobhistoryserver.sh

start-mapred.sh  启动MapReduce

来进行调整。

后面根据项目的实际需要Hadoop Bin  包括:

Hadoop  hadoop的Shell

hadoop-config.sh 它的作用是对一些变量进行赋值

     HADOOP_HOME（hadoop的安装目录）。

     HADOOP_CONF_DIR（hadoop的配置文件目录）。

     HADOOP_SLAVES（--hosts指定的文件的地址）

hadoop-daemon.sh 单节点启动

hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh

start-all.sh    启动HDFS与MapReduce

start-balancer.sh 启动Hadoop的负载均衡

start-dfs.sh  启动HDFS

start-jobhistoryserver.sh

start-mapred.sh  启动MapReduce

来进行调整。

stop-all.sh   停止HDFS与MapReduce

stop-balancer.sh 停止做负载均衡

stop-dfs.sh   停止HDFS

stop-jobhistoryserver.sh 停止Job追踪

stop-mapred.sh 停止MapReduce

task-controller

第二部分：Hadoop Shell 基本操作

 

nHadoop shell

  包括:    namenode -format     format the DFS filesystem

           secondarynamenode    run the DFS secondary namenode

           namenode             run the DFS namenode

           datanode             run a DFS datanode

           dfsadmin             run a DFS admin client

           mradmin              run a Map-Reduce admin client

           fsck                 run a DFS filesystem checking utility

           fs                   run a generic filesystem user client

           balancer             run a cluster balancing utility

           fetchdt              fetch  delegation token from the NameNode

           jobtracker           run the MapReduce job Tracker node

           pipes                run a Pipes job

tasktracker          run a MapReduce task Tracker node

  historyserver        run job history servers as a standalone daemon

  job                  manipulate MapReduce jobs

  queue                get information regarding JobQueues

  version              print the version

  jar <jar>            run a jar file

  distcp <srcurl> <desturl> copy file or directories recursively

  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive

  classpath            prints the class path needed to get the

                       Hadoop jar and the required libraries

  daemonlog            get/set the log level for each daemon

 or

  CLASSNAME            run the class named CLASSNAME

 

  私塾在线学习网原创内容，转载请注明出处【 http://sishuok.com/forum/blogPost/list/5457.html 】