`
亦梦亦真
  • 浏览: 229570 次
  • 性别: Icon_minigender_1
  • 来自: 秦皇岛
社区版块
存档分类
最新评论

HADOOP升级

阅读更多

1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压 hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade

7:升级完成

 

注意:

 


HDFS从一个版本升级到另外一个版本的时候,NameNode和DataNode使用的文件格式有可能会改变。当你第一次使用新版本的时候,你要使用

bin/start-dfs.sh -upgrade

告诉Hadoop 去改变HDFS版本(否则,新版本不会生效)。

然后它开始升级,你可以通过

bin/hadoop dfsadmin -upgradeProgress

命令来查看版本升级的情况。

当然你可以使用

bin/hadoop dfsadmin -upgradeProgress details

来查看更多的详细信息。

当升级过程被阻塞的时候,你可以使用

bin/hadoop dfsadmin -upgradeProgress force

来强制升级继续执行(当你使用这个命令的时候,一定要慎重考虑)。



当HDFS升级完毕后,Hadoop依旧保留着旧版本的有关信息,
以便你可以方便的对HDFS进行降级操作。
可以使用bin/start-dfs.sh -rollback来执行降级操作。

 


 

Hadoop一次只保存一个版本的备份。

当新版本运行几天以后还是没有出现什么问题,你就可以使用

bin/hadoop dfsadmin -finalizeUpgrade

命令把旧版本的备份从系统中删掉了。删除以后rollback 命令就失效了。

在另外一次版本升级前,这个操作是一定要做的。

获取帮助跟 dfs 模块是一样的, 你可以使用

bin/hadoop dfsadmin -help

命令来获取特定的命令的一些用法。

分享到:
评论

相关推荐

    Hadoop的升级和回滚

    Hadoop升级和回滚是Hadoop集群管理员需要掌握的重要知识点。升级Hadoop可以引入新的功能和改进性能,但是同时也可能引入新的bug或不兼容的修改,导致现有的应用出现问题。因此,了解Hadoop的升级和回滚机制是非常...

    hadoop1升级hadoop2步骤

    hadoop1升级到hadoop2具体步骤及方法

    hadoop—集群维护手册分享.pdf

    本文档旨在为 Hadoop 集群维护提供详细的操作指南,从集群启动和停止到数据平衡、节点添加、副本系数设置、平衡阈值调整、Hadoop 升级等多个方面,提供了实践操作步骤和注意事项。 一、集群启动和停止 Hadoop 集群...

    winutils.exe_hadoop-3.0.0

    Hadoop是一款开源的大数据处理框架,由Apache基金会开发,它主要设计用于分布式存储和处理海量数据。在Windows环境中,由于其默认...记住,每次Hadoop升级或更改配置后,都需要重新进行这些步骤以确保兼容性和正确性。

    hadoop-0.18.2 的安装包

    4. **Hadoop升级**:了解从Hadoop 0.18.2升级到新版本的过程和注意事项。 总结,Hadoop-0.18.2作为早期版本,展示了Hadoop分布式计算的基本理念和架构。虽然现在有更先进的版本,但理解这个历史版本有助于全面理解...

    cdh升级文档

    ### CDH 5.11.2 升级 Hadoop 知识点详解 #### 一、CDH与Hadoop的关系 Cloudera Distribution Including Apache Hadoop (CDH) 是 Cloudera 公司推出的一个基于 Apache Hadoop 的发行版。它集成了大量的大数据处理...

    Hadoop命令大全

    在完成Hadoop升级后,管理员需运行此命令来清理旧版本的备份。 18. **检查升级状态** ``` $dfsadmin -upgradeProgress status ``` 帮助确定是否已完成所有必要的升级步骤。 19. **运行带有升级选项的新版本**...

    Hadoop源代码分析(一 一)

    在Hadoop升级过程中,DataNode的角色至关重要,因为它涉及到数据的安全性和一致性。 首先,我们讨论升级过程。在Hadoop中,升级通常涉及更新版本信息,这通过在DataNode上的`VERSION`文件来实现。NameNode会向...

    java-Hadoop序列化

    3. **可扩展**:新版本的`Writable`可以兼容旧版本的数据格式,这意味着即使在Hadoop升级后,仍能读取之前存储的数据。 4. **互操作性**:`Writable`支持多语言交互,使得非Java语言的系统也能与Hadoop进行数据交换...

    log4j漏洞修复升级jar包(log4j-1.2-api-2.17.0.jar)

    log4j漏洞修复升级jar包(log4j-1.2-api-2.17.0.jar)

    Hadoop权威指南_第四版_中文版(修订升级高清扫描版)

    《Hadoop权威指南》第四版中文版是一本深入解析Hadoop生态系统的重量级书籍,针对大数据处理和分布式计算领域提供了详尽的指导。Hadoop作为开源的分布式计算框架,已经成为了大数据时代的核心技术之一,而这本书正是...

    hadoop集群维护手册.pdf

    本文档提供了 Hadoop 集群维护的详细指南,涵盖了集群的启动、停止、增加存储量、平衡数据、升级 Hadoop 版本等多方面的内容。 一、Hadoop 集群启动和停止命令 Hadoop 集群可以使用 start-all.sh 命令启动,使用 ...

    清华大学精品大数据之系统运维课程PPT课件(17页)含习题 第8章 升级管理.pptx

    Hadoop升级管理** Hadoop是大数据处理的基础框架,其核心组件包括HDFS和YARN。HDFS的升级主要关注数据和元数据的安全性,确保升级过程中不会丢失数据。升级HDFS时,需要考虑到时间成本,升级过程可能需要比正常...

    hadoop2.8.3包含winutils.exe和hadoop.dll

    在安装或升级Hadoop时,你需要将这个“bin”目录的内容覆盖到你现有的Hadoop安装路径下的相应位置,以确保使用的是最新版本的这些关键组件。 为了使Hadoop在Windows上成功运行,还需要注意以下几点: - 环境变量...

    hadoop-3.1.0.rar windows 环境依赖

    5. **跨版本兼容性**:Hadoop 3.1.0致力于提高与其他版本的兼容性,使得升级和回滚更加平滑。 在Windows环境下安装Hadoop 3.1.0,你需要以下步骤: 1. **安装Java环境**:首先,确保你的系统已经安装了Java ...

    hadoop-eclipse2.5.2、hadoop-eclipse2.6.0、hadoop-eclipse2.6.5

    随着Hadoop版本的升级,插件也会随之更新以支持新特性。选择合适版本的Hadoop-Eclipse插件对于开发和调试Hadoop应用至关重要,因为它直接影响到开发效率和代码兼容性。使用这些插件,开发者可以更便捷地在Hadoop环境...

    字节data-基础架构-大数据面经

    该面试经历涵盖了大数据平台的基础架构、Hadoop升级、HDFS写数据过程、YARN和HDFS源码修改、Paxos算法、QJM和Bookkeeper、Hashmap和ConcurentHashMap、G1垃圾回收器、LRU算法、Kafka、Raft、ZAB和Paxos算法等方面的...

    hadoop-commond(hadoop.dll)各个版本.rar

    7. **备份与恢复**:保持不同版本的`hadoop.dll`是一个好的实践,因为在升级或回滚Hadoop或Spark版本时,可能需要恢复到之前的DLL版本。 8. **安全考虑**:确保从可信源获取这些库文件,因为恶意修改的库文件可能...

    hadoop-3.1.3-src.tar.gz

    4. **跨版本兼容性**:Hadoop 3.x版本致力于提高与早期版本的兼容性,使得升级更为平滑,减少迁移过程中可能出现的问题。 5. **工具和API更新**:Hadoop的命令行工具和编程接口(如Hadoop Common、Hadoop MapReduce...

    Hadoop权威指南.大数据的存储与分析.第4版.修订版&升级版

    这本书的第4版不仅进行了修订,还进行了升级,确保了内容与当前技术发展同步,对于学习和理解Hadoop生态系统的各个方面具有极高的参考价值。 Hadoop是基于Java开发的,它主要由两个核心组件构成:Hadoop ...

Global site tag (gtag.js) - Google Analytics