hadoop-2.2.0 升级 2.6.0
hadoop-2.2.0
准备
- 通过一次全面的fsck检查现有系统是否健康,并可记录下fsck的输出信息,用于升级后的对比。
./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log
./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log
./bin/hadoop dfsadmin -report > dfs-v-old-report-1.log
- 备份namenode信息,即
etc/hadoop/hdfs-site.xml
下的dfs.namenode.name.dir
所指向的文件夹 - 备份配置文件,即
etc/hadoop
文件下的hadoop-env.sh
,yarn-env.sh
,core-site.xml
,mapred-site.xml
,hdfs-site.xml
,yarn-site.xml
。
升级
- 关闭集群
./sbin/stop-all.sh
- 下载
hadoop-2.6.0
,并解压到不同于hadoop-2.2.0
的文件夹。 - 替换
etc/hadoop
下的相关文件。 - 执行
./sbin/hadoop-daemon.sh start namenode -upgrade
升级namenode。
可通过./bin/hadoop dfsadmin -upgradeProgress status
来查看进度。 - 执行
./sbin/start-dfs.sh
来启动HDFS。
回滚
-
./sbin/stop-all.sh
关闭hadoop - 回到原有的hadoop文件夹
-
./bin/start-dfs.sh –rollback
完成回滚
完成升级
- 在集群运行一段时间,且没有出现问题的情况下,执行
./bin/hadoop dfsadmin -finalizeUpgrade
删除备份,完成升级。
相关推荐
`hadoop-common-2.6.0-bin-master.zip` 是一个针对Hadoop 2.6.0版本的压缩包,特别适用于在Windows环境下进行本地开发和测试。这个版本的Hadoop包含了对Windows系统的优化,比如提供了`winutils.exe`,这是在Windows...
spark-2.2.0-bin-2.6.0-cdh5.7.0.tg 由:Java需要7+版本,而且在Spark2.0.0之后Java 7已经被标识成deprecated了,但是不影响使用,但是在Spark2.2.0版本之后Java 7的支持将会被移除; Maven需要3.3.9+版本 hadoop...
windows系统手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u91-linux-x64.tar.gz scala-2.11.8.tgz
《Hadoop Common 2.6.0:大数据处理的基础组件》 Hadoop是Apache软件基金会开发的一个开源框架,主要用于处理和存储大规模数据。Hadoop Common是Hadoop项目的核心部分,包含了Hadoop运行所需的各种通用工具和服务,...
这个"spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz"压缩包是Spark的一个特定版本,用于与Cloudera Distribution Including Apache Hadoop (CDH) 5.14.0兼容。CDH是Cloudera公司提供的一个全面、集成、管理的Hadoop堆栈,...
hadoop连接相关jar包
spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,
spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
windows下hadoop-2.2.0命令行传参出错补丁 The system cannot find the batch label specified - make_command_arguments
本合集包含了多个版本的Hadoop-Eclipse插件,包括2.2.0, 2.4.1, 2.6.0, 2.7.1, 2.7.2, 2.7.3以及2.7.6,这些版本覆盖了Hadoop的多个主要发展阶段,适应了不同用户的需求。 1. **Hadoop简介**:Hadoop是一个开源的...
在2.2.0、2.4.1、2.6.0和2.7.3这些版本中,Hadoop Eclipse Plugin逐步完善了其功能和性能。例如,2.2.0版引入了对Hadoop 2.x系列的支持,这一重大更新意味着开发者能够直接在Eclipse中利用YARN资源管理器进行应用...
在这个压缩包中,我们看到了两个版本的Hadoop Common:hadoop-common-2.6.0-bin-master_112和hadoop-common-2.2.0-bin-master_112。这两个版本的差异主要在于功能的完善和性能的优化,例如,2.6.0版本相对于2.2.0在...
标题 "hadoop2.2.0-eclipse-plugin" 指的是一个针对Hadoop 2.2.0版本的Eclipse集成开发环境插件。这个插件允许开发者在Eclipse中方便地进行Hadoop相关项目的开发、调试和测试。Eclipse插件通常包括对Hadoop配置的...
例如,2.2.0适用于Hadoop 2.2.x系列,2.4.1适用于Hadoop 2.4.x系列,而2.6.0则对应Hadoop 2.6.x系列。选择正确版本的插件至关重要,因为不同版本的Hadoop可能会引入新的特性和API变化,这可能会影响到插件的正常使用...
hadoop-2.6.0-windows TLDR:发布我的二进制文件; 如果有兴趣阅读如何真正构建和解决构建错误 要使用 hadoop(至少是来自 MS Windows 机器的客户端),请访问 (一种官方文档)。 问题是 Apache 网站上缺少适用于 ...
这里列出的几个文件,如`hadoop-eclipse-plugin-2.7.3.jar`和`hadoop-eclipse-plugin-2.6.0.jar`,代表了对应Hadoop 2.7.3和2.6.0版本的插件。选择正确的版本很重要,因为不同版本的Hadoop可能有不同的API和功能,...
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
标题提到的“hadoop2.6.0-eclipse-plugin”暗示我们正在讨论的是Hadoop 2.6.0版本与Eclipse IDE的集成插件,这对于开发和测试Hadoop应用至关重要。Eclipse插件使得开发者能够在本地环境中方便地编写、调试和运行...