1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压 hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade
7:升级完成
注意:
HDFS从一个版本升级到另外一个版本的时候,NameNode和DataNode使用的文件格式有可能会改变。当你第一次使用新版本的时候,你要使用
bin/start-dfs.sh -upgrade
告诉Hadoop 去改变HDFS版本(否则,新版本不会生效)。
然后它开始升级,你可以通过
bin/hadoop dfsadmin -upgradeProgress
命令来查看版本升级的情况。
当然你可以使用
bin/hadoop dfsadmin -upgradeProgress details
来查看更多的详细信息。
当升级过程被阻塞的时候,你可以使用
bin/hadoop dfsadmin -upgradeProgress force
来强制升级继续执行(当你使用这个命令的时候,一定要慎重考虑)。
当HDFS升级完毕后,Hadoop依旧保留着旧版本的有关信息,
以便你可以方便的对HDFS进行降级操作。
可以使用bin/start-dfs.sh -rollback来执行降级操作。
Hadoop一次只保存一个版本的备份。
当新版本运行几天以后还是没有出现什么问题,你就可以使用
bin/hadoop dfsadmin -finalizeUpgrade
命令把旧版本的备份从系统中删掉了。删除以后rollback 命令就失效了。
在另外一次版本升级前,这个操作是一定要做的。
获取帮助跟 dfs 模块是一样的, 你可以使用
bin/hadoop dfsadmin -help
命令来获取特定的命令的一些用法。
分享到:
相关推荐
Hadoop升级和回滚是Hadoop集群管理员需要掌握的重要知识点。升级Hadoop可以引入新的功能和改进性能,但是同时也可能引入新的bug或不兼容的修改,导致现有的应用出现问题。因此,了解Hadoop的升级和回滚机制是非常...
hadoop1升级到hadoop2具体步骤及方法
本文档旨在为 Hadoop 集群维护提供详细的操作指南,从集群启动和停止到数据平衡、节点添加、副本系数设置、平衡阈值调整、Hadoop 升级等多个方面,提供了实践操作步骤和注意事项。 一、集群启动和停止 Hadoop 集群...
Hadoop是一款开源的大数据处理框架,由Apache基金会开发,它主要设计用于分布式存储和处理海量数据。在Windows环境中,由于其默认...记住,每次Hadoop升级或更改配置后,都需要重新进行这些步骤以确保兼容性和正确性。
4. **Hadoop升级**:了解从Hadoop 0.18.2升级到新版本的过程和注意事项。 总结,Hadoop-0.18.2作为早期版本,展示了Hadoop分布式计算的基本理念和架构。虽然现在有更先进的版本,但理解这个历史版本有助于全面理解...
### CDH 5.11.2 升级 Hadoop 知识点详解 #### 一、CDH与Hadoop的关系 Cloudera Distribution Including Apache Hadoop (CDH) 是 Cloudera 公司推出的一个基于 Apache Hadoop 的发行版。它集成了大量的大数据处理...
在完成Hadoop升级后,管理员需运行此命令来清理旧版本的备份。 18. **检查升级状态** ``` $dfsadmin -upgradeProgress status ``` 帮助确定是否已完成所有必要的升级步骤。 19. **运行带有升级选项的新版本**...
在Hadoop升级过程中,DataNode的角色至关重要,因为它涉及到数据的安全性和一致性。 首先,我们讨论升级过程。在Hadoop中,升级通常涉及更新版本信息,这通过在DataNode上的`VERSION`文件来实现。NameNode会向...
3. **可扩展**:新版本的`Writable`可以兼容旧版本的数据格式,这意味着即使在Hadoop升级后,仍能读取之前存储的数据。 4. **互操作性**:`Writable`支持多语言交互,使得非Java语言的系统也能与Hadoop进行数据交换...
log4j漏洞修复升级jar包(log4j-1.2-api-2.17.0.jar)
《Hadoop权威指南》第四版中文版是一本深入解析Hadoop生态系统的重量级书籍,针对大数据处理和分布式计算领域提供了详尽的指导。Hadoop作为开源的分布式计算框架,已经成为了大数据时代的核心技术之一,而这本书正是...
本文档提供了 Hadoop 集群维护的详细指南,涵盖了集群的启动、停止、增加存储量、平衡数据、升级 Hadoop 版本等多方面的内容。 一、Hadoop 集群启动和停止命令 Hadoop 集群可以使用 start-all.sh 命令启动,使用 ...
Hadoop升级管理** Hadoop是大数据处理的基础框架,其核心组件包括HDFS和YARN。HDFS的升级主要关注数据和元数据的安全性,确保升级过程中不会丢失数据。升级HDFS时,需要考虑到时间成本,升级过程可能需要比正常...
在安装或升级Hadoop时,你需要将这个“bin”目录的内容覆盖到你现有的Hadoop安装路径下的相应位置,以确保使用的是最新版本的这些关键组件。 为了使Hadoop在Windows上成功运行,还需要注意以下几点: - 环境变量...
5. **跨版本兼容性**:Hadoop 3.1.0致力于提高与其他版本的兼容性,使得升级和回滚更加平滑。 在Windows环境下安装Hadoop 3.1.0,你需要以下步骤: 1. **安装Java环境**:首先,确保你的系统已经安装了Java ...
随着Hadoop版本的升级,插件也会随之更新以支持新特性。选择合适版本的Hadoop-Eclipse插件对于开发和调试Hadoop应用至关重要,因为它直接影响到开发效率和代码兼容性。使用这些插件,开发者可以更便捷地在Hadoop环境...
该面试经历涵盖了大数据平台的基础架构、Hadoop升级、HDFS写数据过程、YARN和HDFS源码修改、Paxos算法、QJM和Bookkeeper、Hashmap和ConcurentHashMap、G1垃圾回收器、LRU算法、Kafka、Raft、ZAB和Paxos算法等方面的...
7. **备份与恢复**:保持不同版本的`hadoop.dll`是一个好的实践,因为在升级或回滚Hadoop或Spark版本时,可能需要恢复到之前的DLL版本。 8. **安全考虑**:确保从可信源获取这些库文件,因为恶意修改的库文件可能...
4. **跨版本兼容性**:Hadoop 3.x版本致力于提高与早期版本的兼容性,使得升级更为平滑,减少迁移过程中可能出现的问题。 5. **工具和API更新**:Hadoop的命令行工具和编程接口(如Hadoop Common、Hadoop MapReduce...
这本书的第4版不仅进行了修订,还进行了升级,确保了内容与当前技术发展同步,对于学习和理解Hadoop生态系统的各个方面具有极高的参考价值。 Hadoop是基于Java开发的,它主要由两个核心组件构成:Hadoop ...