Hadoop 脚本

1
hadoop 脚本

用法: hadoop [--config confdir] COMMAND
命令:
  namenode -format     格式化DFS
  secondarynamenode    运行备NameNode 
  namenode             运行主NameNode
  datanode             运行从DataNode
  dfsadmin             运行DFS管理客户端
  mradmin              运行MapReduce管理客户端
  fsck                 运行DFS检查工具
  fs                   运行DFS Shell.
  balancer             运行集群负载均衡工具
  oiv                  apply the offline fsimage viewer to an fsimage
  fetchdt              获取主NammeNode的delegation token
  jobtracker           运行JobTracker
  pipes                运行一个管道作业
  tasktracker          运行TaskTracker
  historyserver        运行JobHistoryServer
  job                  作业管理
  queue                获取 JobQueues 信息
  version              显示版本信息
  jar <jar>            运行一个JAR文件
  distcp <srcurl> <desturl> 递归复制文件或目录
  distcp2 <srcurl> <desturl> 递归复制文件或目录 version 2
  archive -archiveName NAME -p <parent path> <src>* <dest> 创建hadoop归档
  classpath            显示classpath信息
  daemonlog            设置日志级别
  CLASSNAME            运行一个类文件


2
NameNode
org.apache.hadoop.hdfs.server.namenode.NameNode

SecondaryNameNode
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

DataNode
org.apache.hadoop.hdfs.server.datanode.DataNode
org.apache.hadoop.hdfs.server.datanode.SecureDataNodeStarter

JobTracker
org.apache.hadoop.mapred.JobTracker

TaskTracker
org.apache.hadoop.mapred.TaskTracker

JobHistoryServer
org.apache.hadoop.mapred.JobHistoryServer

fs|dfs
org.apache.hadoop.fs.FsShell

job
org.apache.hadoop.mapred.JobClient

queue
org.apache.hadoop.mapred.JobQueueClient

pipes
org.apache.hadoop.mapred.pipes.Submitter

dfsadmin
org.apache.hadoop.hdfs.tools.DFSAdmin

mradmin
org.apache.hadoop.mapred.tools.MRAdmin

fsck
org.apache.hadoop.hdfs.tools.DFSck

balancer
org.apache.hadoop.hdfs.server.balancer.Balancer

oiv
org.apache.hadoop.hdfs.tools.offlineImageViewer.OfflineImageViewer

fetchdt
org.apache.hadoop.hdfs.tools.DelegationTokenFetcher

version
org.apache.hadoop.util.VersionInfo

jar
org.apache.hadoop.util.RunJar

distcp
org.apache.hadoop.tools.DistCp

distcp2
org.apache.hadoop.tools.distcp2.DistCp

daemonlog
org.apache.hadoop.log.LogLevel

archive
org.apache.hadoop.tools.HadoopArchives

sampler
org.apache.hadoop.mapred.lib.InputSampler


3
Q:
distcp VS distcp2
新版本文件的属性(权限,属主,组等)也会更新,即使文件复制被跳过. 新版本复制过滤不在JOB启动前,因此更快.