`

Hadoop 脚本

阅读更多
1
hadoop 脚本

用法: hadoop [--config confdir] COMMAND
命令:
  namenode -format     格式化DFS
  secondarynamenode    运行备NameNode 
  namenode             运行主NameNode
  datanode             运行从DataNode
  dfsadmin             运行DFS管理客户端
  mradmin              运行MapReduce管理客户端
  fsck                 运行DFS检查工具
  fs                   运行DFS Shell.
  balancer             运行集群负载均衡工具
  oiv                  apply the offline fsimage viewer to an fsimage
  fetchdt              获取主NammeNode的delegation token
  jobtracker           运行JobTracker
  pipes                运行一个管道作业
  tasktracker          运行TaskTracker
  historyserver        运行JobHistoryServer
  job                  作业管理
  queue                获取 JobQueues 信息
  version              显示版本信息
  jar <jar>            运行一个JAR文件
  distcp <srcurl> <desturl> 递归复制文件或目录
  distcp2 <srcurl> <desturl> 递归复制文件或目录 version 2
  archive -archiveName NAME -p <parent path> <src>* <dest> 创建hadoop归档
  classpath            显示classpath信息
  daemonlog            设置日志级别
  CLASSNAME            运行一个类文件


2
NameNode
org.apache.hadoop.hdfs.server.namenode.NameNode

SecondaryNameNode
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

DataNode
org.apache.hadoop.hdfs.server.datanode.DataNode
org.apache.hadoop.hdfs.server.datanode.SecureDataNodeStarter

JobTracker
org.apache.hadoop.mapred.JobTracker

TaskTracker
org.apache.hadoop.mapred.TaskTracker

JobHistoryServer
org.apache.hadoop.mapred.JobHistoryServer

fs|dfs
org.apache.hadoop.fs.FsShell

job
org.apache.hadoop.mapred.JobClient

queue
org.apache.hadoop.mapred.JobQueueClient

pipes
org.apache.hadoop.mapred.pipes.Submitter

dfsadmin
org.apache.hadoop.hdfs.tools.DFSAdmin

mradmin
org.apache.hadoop.mapred.tools.MRAdmin

fsck
org.apache.hadoop.hdfs.tools.DFSck

balancer
org.apache.hadoop.hdfs.server.balancer.Balancer

oiv
org.apache.hadoop.hdfs.tools.offlineImageViewer.OfflineImageViewer

fetchdt
org.apache.hadoop.hdfs.tools.DelegationTokenFetcher

version
org.apache.hadoop.util.VersionInfo

jar
org.apache.hadoop.util.RunJar

distcp
org.apache.hadoop.tools.DistCp

distcp2
org.apache.hadoop.tools.distcp2.DistCp

daemonlog
org.apache.hadoop.log.LogLevel

archive
org.apache.hadoop.tools.HadoopArchives

sampler
org.apache.hadoop.mapred.lib.InputSampler


3
Q:
distcp VS distcp2
新版本文件的属性(权限,属主,组等)也会更新,即使文件复制被跳过. 新版本复制过滤不在JOB启动前,因此更快.


分享到:
评论

相关推荐

    Hadoop源码分析 第一章 Hadoop脚本

    《Hadoop源码分析 第一章 Hadoop脚本》 Hadoop是大数据处理领域中的一个核心框架,它为海量数据的存储和计算提供了分布式解决方案。本文将深入剖析Hadoop脚本,带你理解其背后的实现机制,这对于理解Hadoop的工作...

    hadoop全分布式-脚本一键安装

    在"标签"中提到的"Hadoop脚本",通常指的是bash脚本,它会包含一系列Linux命令,用于执行上述的安装任务。脚本可能会包含以下操作: 1. 检查系统环境,确认是否满足Hadoop的安装需求,例如操作系统版本、内存大小等...

    hadoop脚本

    安装hadoop时,集群式安装需要来回的切换机器,那么还有每一步都需要配置文件,很繁琐,所以就在这写了一个脚本

    hadoop环境部署自动化shell脚本(伪分布式、完全分布式集群搭建).docx

    【Hadoop环境部署自动化Shell脚本】是一种高效的方法,用于快速搭建Hadoop集群,无论是用于学习还是开发。本文档提供了一个详细的脚本,涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤,旨在降低...

    快速移除ambari和hadoop脚本

    通过ambari安装hadoop及组件有时候会失败,卸载清除非常麻烦,通过此脚本可以快速实现用户删除,目录删除,组件卸载,非常好用。

    autoinstallhadoop:自动安装JDK,Maven,Ant,Maven,Hadoop脚本

    自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接...

    hadoop常用脚本

    1. **Hadoop脚本**: - `hadoop fs -ls 文件路径`:查看HDFS中指定路径下的文件和目录。 - `hadoop fs -du 文件绝对路径`:显示文件或目录的大小。 - `hadoop fs -put 源文件名 目的路径`:将本地文件上传到HDFS...

    hadoop2.7.3 Winutils.exe hadoop.dll

    Winutils.exe是Hadoop在Windows系统上的一个实用工具,它提供了与Linux系统中bin/hadoop脚本类似的功能。这个工具主要用于执行Hadoop相关的操作,如配置HDFS(Hadoop分布式文件系统)设置、管理HDFS上的文件和目录,...

    用python编写nagios hadoop监控脚本

    标题 "用python编写nagios hadoop监控脚本" 暗示了本文将探讨如何使用Python编程语言来创建Nagios监控系统针对Hadoop集群的监控脚本。Nagios是一款广泛使用的开源网络监控系统,它能检测各种IT基础设施的状态,包括...

    hadoop集群安装脚本

    "hadoop集群安装脚本"是实现快速、便捷部署Hadoop集群的一种工具,尤其对于初学者或运维人员来说,这种一键式安装脚本极大地简化了复杂的配置过程。 Hadoop集群的核心组件包括HDFS(Hadoop Distributed File System...

    Hadoop数据迁移--从Oracle向Hadoop.zip

    标题中的“Hadoop数据迁移--从Oracle向Hadoop”指的是将传统的Oracle数据库中的数据迁移到分布式计算框架Hadoop中。这个过程通常涉及到大量的数据处理和转换,以适应Hadoop的存储和处理方式。Hadoop主要由HDFS...

    脚本搭建hadoop集群

    脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...

    HADOOP2.8.1Windows环境下压缩包

    6. **libexec**:包含辅助脚本和程序,这些工具通常由主Hadoop脚本调用,以完成特定任务,如检查环境变量或初始化服务。 7. **bin**:包含可执行的二进制文件,比如hadoop、hdfs、yarn和mapred等命令行工具,用户...

    hadoop2.7.3启动脚本流程

    在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!

    HadoopHA集群 批量启动脚本

    HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    2. SSH:必须安装并且保证sshd一直运行,以便用Hadoop脚本管理远端Hadoop守护进程(系统一般默认安装) 3. rsync:用于系统进行远程同步,系统默认安装。 4. JDK版本:JDK1.6...

    hadoop2.6,window7 32bit,hadoop.dll、winutils.exe等文件

    最后,winutils.exe是Hadoop在Windows上的实用工具集,它提供了类似于Linux环境下bin/hadoop脚本的功能,如设置HDFS和MapReduce的环境变量,启动和停止Hadoop服务等。winutils.exe同样需要在PATH环境变量中,因为很...

    hadoop single node setup

    - 必须安装SSH,并且sshd服务需要运行,以便使用Hadoop脚本管理远程Hadoop守护进程。 对于Windows平台,额外需求包括: - Cygwin:除了上述软件外,还需要Cygwin支持shell操作。 2.3 安装软件 如果你的集群...

Global site tag (gtag.js) - Google Analytics