1
hadoop 脚本
用法: hadoop [--config confdir] COMMAND
命令:
namenode -format 格式化DFS
secondarynamenode 运行备NameNode
namenode 运行主NameNode
datanode 运行从DataNode
dfsadmin 运行DFS管理客户端
mradmin 运行MapReduce管理客户端
fsck 运行DFS检查工具
fs 运行DFS Shell.
balancer 运行集群负载均衡工具
oiv apply the offline fsimage viewer to an fsimage
fetchdt 获取主NammeNode的delegation token
jobtracker 运行JobTracker
pipes 运行一个管道作业
tasktracker 运行TaskTracker
historyserver 运行JobHistoryServer
job 作业管理
queue 获取 JobQueues 信息
version 显示版本信息
jar <jar> 运行一个JAR文件
distcp <srcurl> <desturl> 递归复制文件或目录
distcp2 <srcurl> <desturl> 递归复制文件或目录 version 2
archive -archiveName NAME -p <parent path> <src>* <dest> 创建hadoop归档
classpath 显示classpath信息
daemonlog 设置日志级别
CLASSNAME 运行一个类文件
2
NameNode
org.apache.hadoop.hdfs.server.namenode.NameNode
SecondaryNameNode
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
DataNode
org.apache.hadoop.hdfs.server.datanode.DataNode
org.apache.hadoop.hdfs.server.datanode.SecureDataNodeStarter
JobTracker
org.apache.hadoop.mapred.JobTracker
TaskTracker
org.apache.hadoop.mapred.TaskTracker
JobHistoryServer
org.apache.hadoop.mapred.JobHistoryServer
fs|dfs
org.apache.hadoop.fs.FsShell
job
org.apache.hadoop.mapred.JobClient
queue
org.apache.hadoop.mapred.JobQueueClient
pipes
org.apache.hadoop.mapred.pipes.Submitter
dfsadmin
org.apache.hadoop.hdfs.tools.DFSAdmin
mradmin
org.apache.hadoop.mapred.tools.MRAdmin
fsck
org.apache.hadoop.hdfs.tools.DFSck
balancer
org.apache.hadoop.hdfs.server.balancer.Balancer
oiv
org.apache.hadoop.hdfs.tools.offlineImageViewer.OfflineImageViewer
fetchdt
org.apache.hadoop.hdfs.tools.DelegationTokenFetcher
version
org.apache.hadoop.util.VersionInfo
jar
org.apache.hadoop.util.RunJar
distcp
org.apache.hadoop.tools.DistCp
distcp2
org.apache.hadoop.tools.distcp2.DistCp
daemonlog
org.apache.hadoop.log.LogLevel
archive
org.apache.hadoop.tools.HadoopArchives
sampler
org.apache.hadoop.mapred.lib.InputSampler
3
Q:
distcp VS distcp2
新版本文件的属性(权限,属主,组等)也会更新,即使文件复制被跳过. 新版本复制过滤不在JOB启动前,因此更快.
分享到:
相关推荐
《Hadoop源码分析 第一章 Hadoop脚本》 Hadoop是大数据处理领域中的一个核心框架,它为海量数据的存储和计算提供了分布式解决方案。本文将深入剖析Hadoop脚本,带你理解其背后的实现机制,这对于理解Hadoop的工作...
在"标签"中提到的"Hadoop脚本",通常指的是bash脚本,它会包含一系列Linux命令,用于执行上述的安装任务。脚本可能会包含以下操作: 1. 检查系统环境,确认是否满足Hadoop的安装需求,例如操作系统版本、内存大小等...
安装hadoop时,集群式安装需要来回的切换机器,那么还有每一步都需要配置文件,很繁琐,所以就在这写了一个脚本
【Hadoop环境部署自动化Shell脚本】是一种高效的方法,用于快速搭建Hadoop集群,无论是用于学习还是开发。本文档提供了一个详细的脚本,涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤,旨在降低...
通过ambari安装hadoop及组件有时候会失败,卸载清除非常麻烦,通过此脚本可以快速实现用户删除,目录删除,组件卸载,非常好用。
自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接...
Winutils.exe是Hadoop在Windows系统上的一个实用工具,它提供了与Linux系统中bin/hadoop脚本类似的功能。这个工具主要用于执行Hadoop相关的操作,如配置HDFS(Hadoop分布式文件系统)设置、管理HDFS上的文件和目录,...
1. **Hadoop脚本**: - `hadoop fs -ls 文件路径`:查看HDFS中指定路径下的文件和目录。 - `hadoop fs -du 文件绝对路径`:显示文件或目录的大小。 - `hadoop fs -put 源文件名 目的路径`:将本地文件上传到HDFS...
标题 "用python编写nagios hadoop监控脚本" 暗示了本文将探讨如何使用Python编程语言来创建Nagios监控系统针对Hadoop集群的监控脚本。Nagios是一款广泛使用的开源网络监控系统,它能检测各种IT基础设施的状态,包括...
"hadoop集群安装脚本"是实现快速、便捷部署Hadoop集群的一种工具,尤其对于初学者或运维人员来说,这种一键式安装脚本极大地简化了复杂的配置过程。 Hadoop集群的核心组件包括HDFS(Hadoop Distributed File System...
标题中的“Hadoop数据迁移--从Oracle向Hadoop”指的是将传统的Oracle数据库中的数据迁移到分布式计算框架Hadoop中。这个过程通常涉及到大量的数据处理和转换,以适应Hadoop的存储和处理方式。Hadoop主要由HDFS...
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
6. **libexec**:包含辅助脚本和程序,这些工具通常由主Hadoop脚本调用,以完成特定任务,如检查环境变量或初始化服务。 7. **bin**:包含可执行的二进制文件,比如hadoop、hdfs、yarn和mapred等命令行工具,用户...
在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
2. SSH:必须安装并且保证sshd一直运行,以便用Hadoop脚本管理远端Hadoop守护进程(系统一般默认安装) 3. rsync:用于系统进行远程同步,系统默认安装。 4. JDK版本:JDK1.6...
最后,winutils.exe是Hadoop在Windows上的实用工具集,它提供了类似于Linux环境下bin/hadoop脚本的功能,如设置HDFS和MapReduce的环境变量,启动和停止Hadoop服务等。winutils.exe同样需要在PATH环境变量中,因为很...
- 必须安装SSH,并且sshd服务需要运行,以便使用Hadoop脚本管理远程Hadoop守护进程。 对于Windows平台,额外需求包括: - Cygwin:除了上述软件外,还需要Cygwin支持shell操作。 2.3 安装软件 如果你的集群...