`
Taoo
  • 浏览: 296022 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop升级,CDH3B3 to CDH3U2

 
阅读更多
只是升级hadoop和Hbase两个组件。

参考的主要是

http://www.iteye.com/topic/515848

http://caibinbupt.iteye.com/blog/283811


分割线---转载部分----
1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade
7:升级完成

---分割线,以上为转载----

没有什么特殊的,
目前看还算顺利,没有发现问题,能偶list hdfs文件,能够查看hbase里的表。



CDH3u2 to CDH3u3
hadoop升级可能需要几十分钟。(5T数据花了30分钟),
升级期间,NameNode会不停的抛出异常:
2012-03-18 20:16:54,675 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.
The reported blocks 190809 has reached the threshold 0.9990 of total blocks 190809. Safe mode will be turned off automatically in 0 seconds.
2012-03-18 20:16:54,675 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310, call renewLease(DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523) from 10.1.1.24:38327: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.


DataNode cpu会有很大占用,但是没有打印任何日志。
DataNode更新完毕后,会告知NameNode。然后集群就可以使用了。

在整个更新期间,我查看更新状态:hadoop dfsadmin -upgradeProgress details
显示居然是更新完成,
Upgrade for version -19 has been completed.
Upgrade is not finalized.
有可能是不需要更新?所以显示更新完成?占用cpu只是扫描了一遍所有的block?
具体不知道,
反正等的很苦闷,还以为出问题了。




分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics