`
Taoo
  • 浏览: 294506 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop升级,CDH3B3 to CDH3U2

 
阅读更多
只是升级hadoop和Hbase两个组件。

参考的主要是

http://www.iteye.com/topic/515848

http://caibinbupt.iteye.com/blog/283811


分割线---转载部分----
1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade
7:升级完成

---分割线,以上为转载----

没有什么特殊的,
目前看还算顺利,没有发现问题,能偶list hdfs文件,能够查看hbase里的表。



CDH3u2 to CDH3u3
hadoop升级可能需要几十分钟。(5T数据花了30分钟),
升级期间,NameNode会不停的抛出异常:
2012-03-18 20:16:54,675 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.
The reported blocks 190809 has reached the threshold 0.9990 of total blocks 190809. Safe mode will be turned off automatically in 0 seconds.
2012-03-18 20:16:54,675 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310, call renewLease(DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523) from 10.1.1.24:38327: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.


DataNode cpu会有很大占用,但是没有打印任何日志。
DataNode更新完毕后,会告知NameNode。然后集群就可以使用了。

在整个更新期间,我查看更新状态:hadoop dfsadmin -upgradeProgress details
显示居然是更新完成,
Upgrade for version -19 has been completed.
Upgrade is not finalized.
有可能是不需要更新?所以显示更新完成?占用cpu只是扫描了一遍所有的block?
具体不知道,
反正等的很苦闷,还以为出问题了。




分享到:
评论

相关推荐

    hadoop-cdh3u6 eclipse插件

    hadoop-cdh3u6 eclipse插件,本人亲测,在eclipse3.7和4.4下都可以使用

    hadoop-cdh4-0.3.zip

    【标题】"hadoop-cdh4-0.3.zip" 提供的是针对Presto优化的CDH4 Hadoop发行版,这个版本是专为Presto大数据查询引擎设计的,旨在提高其在CDH4(Cloudera Distribution Including Apache Hadoop)环境中的性能和兼容性...

    hadoop-core-0.20.2-cdh3u3.jar

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    hadoop-cdh-4.5.0 eclipse plugin hadoop eclipse 插件

    hadoop-cdh-4.5.0 eclipse plugin hadoop eclipse 插件 hadoop-eclipse-plugin-2.0.0-cdh4.5.0.jar

    hadoop之cdh

    ### Hadoop之CDH:基于Cloudera的HA部署指南 #### 关于本指南 本文档旨在提供关于如何在Cloudera Distribution Including Hadoop (CDH)上配置高可用性的详细指南。CDH是由Cloudera公司提供的一个企业级Hadoop发行...

    hadoop-mrunit-0.20.2-cdh3u4.jar

    用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

    hadoop-2.6.0-cdh5.7.0版本.zip

    这里的“hadoop-2.6.0-cdh5.7.0版本”指的是Cloudera的Hadoop发行版,CDH(Cloudera Distribution Including Apache Hadoop)5.7.0中的Hadoop组件为2.6.0版本。这个版本包含了Hadoop生态系统中的多个关键组件,如...

    hadoop-0.20.2-cdh3u6.rar

    Hadoop-0.20.2-cdh3u6是Cloudera公司基于Apache Hadoop的发行版CDH3的更新版本,它针对企业级应用进行了优化,包含了多个关键改进和修复。 CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera提供的...

    hadoop-0.20.2-cdh3u6

    CDH3u6是CDH系列的第三个重大更新(u代表update),版本号中的“3”表示这是基于Hadoop的0.20.x分支。CDH通常会比Apache Hadoop提供更多的功能、更好的性能以及更全面的集成测试,同时它还包含了其他相关的数据处理...

    hadoop cdh3u6 在eclipse3.6.2下的插件

    hadoop cdh3u6的版本在eclipse3.6.2下的插件,将jar包放入eclipse安装路径下的plugins文件夹,重启即可。

    hadoop cdh5安装

    在本文中,我们将深入探讨如何在Linux环境中安装Hadoop CDH5,这是一个广泛使用的Hadoop分发版,包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能,适合大规模数据处理场景。 首先,安装...

    hadoop-2.6.0-cdh5.16.2的压缩包.rar

    主要是因为hadoop的cdh5官网收费,项目下载不了了,上传我下载的到csdn方便各位下载

    hadoop-0.20.2-cdh3u4

    "hadoop-0.20.2-cdh3u4"是Cloudera公司基于Hadoop 0.20.2版本的一个发行版,称为CDH3u4,其中"CDH"代表Cloudera Distribution Including Apache Hadoop,"u4"则是该发行版的第四个更新版本。 Hadoop的核心组件主要...

    hadoop2.6.0-cdh5.14.0 源码

    hadoop-2.6.0-cdh5.14.0 源码 。

    hadoop-cdh4.6配置文件

    在IT领域,Hadoop是大数据处理的核心框架,而CDH(Cloudera Distribution Including Apache Hadoop)是由Cloudera公司提供的一个开源Hadoop发行版。CDH4.6.0是CDH系列的一个版本,它包含了对Hadoop、HBase、Hive和...

    hadoop cdh5 centos 64位系统本地库编译文件

    标题中的“hadoop cdh5 centos 64位系统本地库编译文件”涉及到的是在基于64位CentOS操作系统上编译Hadoop CDH5(Cloudera's Distribution Including Apache Hadoop)的本地库的过程。CDH5是Cloudera公司提供的一个...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    《Hadoop 2.6.0:Apache与CDH版本详解》 Hadoop,作为大数据处理领域的核心组件,是开源社区的重要成果,尤其在2.6.0版本中,其功能更加完善,性能显著提升。这里我们将深入探讨两个重要的Hadoop 2.6.0发行版——...

    hadoop-0.20.2-CDH3B4.tar.gz下载

    2. 找到Hadoop的JAR文件,它们位于`/usr/local/hadoop/hadoop-0.20.2-cdh3b4/lib`目录下。 3. 将这些JAR文件复制到sqoop的lib目录,例如`/usr/local/sqoop/lib`。 4. 更新sqoop的配置文件,确保Hadoop的配置路径正确...

    编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包

    本文将详细讲解如何在CentOS 6.5系统上编译Hadoop 2.5.0 - CDH5.3.6与Snappy的源码,以生成适用于该环境的native库。 首先,我们要了解Hadoop的native库是什么。Hadoop的native库是一组C++编译的库,它们提供了与...

Global site tag (gtag.js) - Google Analytics