`

hadoop-2.2.0 升级 2.6.0

 
阅读更多

hadoop-2.2.0 升级 2.6.0

hadoop-2.2.0

 

准备

  • 通过一次全面的fsck检查现有系统是否健康,并可记录下fsck的输出信息,用于升级后的对比。
    ./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log
    ./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log
    ./bin/hadoop dfsadmin -report > dfs-v-old-report-1.log
  • 备份namenode信息,即etc/hadoop/hdfs-site.xml下的dfs.namenode.name.dir所指向的文件夹
  • 备份配置文件,即etc/hadoop文件下的hadoop-env.shyarn-env.shcore-site.xmlmapred-site.xmlhdfs-site.xmlyarn-site.xml
 

升级

  • 关闭集群./sbin/stop-all.sh
  • 下载hadoop-2.6.0,并解压到不同于hadoop-2.2.0的文件夹。
  • 替换etc/hadoop下的相关文件。
  • 执行./sbin/hadoop-daemon.sh start namenode -upgrade升级namenode。
    可通过./bin/hadoop dfsadmin -upgradeProgress status来查看进度。
  • 执行./sbin/start-dfs.sh来启动HDFS。
 

回滚

  • ./sbin/stop-all.sh关闭hadoop
  • 回到原有的hadoop文件夹
  • ./bin/start-dfs.sh –rollback完成回滚
 

完成升级

  • 在集群运行一段时间,且没有出现问题的情况下,执行./bin/hadoop dfsadmin -finalizeUpgrade删除备份,完成升级。
分享到:
评论

相关推荐

    hadoop-common-2.6.0-bin-master.zip

    `hadoop-common-2.6.0-bin-master.zip` 是一个针对Hadoop 2.6.0版本的压缩包,特别适用于在Windows环境下进行本地开发和测试。这个版本的Hadoop包含了对Windows系统的优化,比如提供了`winutils.exe`,这是在Windows...

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tg

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tg 由:Java需要7+版本,而且在Spark2.0.0之后Java 7已经被标识成deprecated了,但是不影响使用,但是在Spark2.2.0版本之后Java 7的支持将会被移除; Maven需要3.3.9+版本 hadoop...

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz

    windows系统手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u91-linux-x64.tar.gz scala-2.11.8.tgz

    hadoop-common-2.6.0-bin-master

    《Hadoop Common 2.6.0:大数据处理的基础组件》 Hadoop是Apache软件基金会开发的一个开源框架,主要用于处理和存储大规模数据。Hadoop Common是Hadoop项目的核心部分,包含了Hadoop运行所需的各种通用工具和服务,...

    spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz

    这个"spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz"压缩包是Spark的一个特定版本,用于与Cloudera Distribution Including Apache Hadoop (CDH) 5.14.0兼容。CDH是Cloudera公司提供的一个全面、集成、管理的Hadoop堆栈,...

    hadoop-auth-2.6.0.jar

    hadoop连接相关jar包

    spark-assembly-1.6.1-hadoop2.6.0.jar

    spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,

    spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。

    hadoop补丁

    windows下hadoop-2.2.0命令行传参出错补丁 The system cannot find the batch label specified - make_command_arguments

    hadoop-eclipse插件各版本合集

    本合集包含了多个版本的Hadoop-Eclipse插件,包括2.2.0, 2.4.1, 2.6.0, 2.7.1, 2.7.2, 2.7.3以及2.7.6,这些版本覆盖了Hadoop的多个主要发展阶段,适应了不同用户的需求。 1. **Hadoop简介**:Hadoop是一个开源的...

    hadoop-eclipse-plugin[2.2.0 + 2.4.1 + 2.6.0 + 2.7.3]

    在2.2.0、2.4.1、2.6.0和2.7.3这些版本中,Hadoop Eclipse Plugin逐步完善了其功能和性能。例如,2.2.0版引入了对Hadoop 2.x系列的支持,这一重大更新意味着开发者能够直接在Eclipse中利用YARN资源管理器进行应用...

    hadoop common.zip

    在这个压缩包中,我们看到了两个版本的Hadoop Common:hadoop-common-2.6.0-bin-master_112和hadoop-common-2.2.0-bin-master_112。这两个版本的差异主要在于功能的完善和性能的优化,例如,2.6.0版本相对于2.2.0在...

    hadoop2.2.0-eclipse-plugin

    标题 "hadoop2.2.0-eclipse-plugin" 指的是一个针对Hadoop 2.2.0版本的Eclipse集成开发环境插件。这个插件允许开发者在Eclipse中方便地进行Hadoop相关项目的开发、调试和测试。Eclipse插件通常包括对Hadoop配置的...

    hadoop-eclipse-plugin

    例如,2.2.0适用于Hadoop 2.2.x系列,2.4.1适用于Hadoop 2.4.x系列,而2.6.0则对应Hadoop 2.6.x系列。选择正确版本的插件至关重要,因为不同版本的Hadoop可能会引入新的特性和API变化,这可能会影响到插件的正常使用...

    hadoop-2.6.0-windows:为 MS Windows 7 (Platform=x64) 编译的二进制文件

    hadoop-2.6.0-windows TLDR:发布我的二进制文件; 如果有兴趣阅读如何真正构建和解决构建错误 要使用 hadoop(至少是来自 MS Windows 机器的客户端),请访问 (一种官方文档)。 问题是 Apache 网站上缺少适用于 ...

    hadoop_eclipse插件

    这里列出的几个文件,如`hadoop-eclipse-plugin-2.7.3.jar`和`hadoop-eclipse-plugin-2.6.0.jar`,代表了对应Hadoop 2.7.3和2.6.0版本的插件。选择正确的版本很重要,因为不同版本的Hadoop可能有不同的API和功能,...

    Hadoop2.6.0集群环境搭建

    1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74

    hadoop2.6.0-eclipse-plugin

    标题提到的“hadoop2.6.0-eclipse-plugin”暗示我们正在讨论的是Hadoop 2.6.0版本与Eclipse IDE的集成插件,这对于开发和测试Hadoop应用至关重要。Eclipse插件使得开发者能够在本地环境中方便地编写、调试和运行...

Global site tag (gtag.js) - Google Analytics