`
chakey
  • 浏览: 364437 次
  • 性别: Icon_minigender_1
  • 来自: 水星
社区版块
存档分类
最新评论

【4】Hadoop HDFS 版本升级

阅读更多

1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade

7:升级完成

 

注意:

 


HDFS从一个版本升级到另外一个版本的时候,NameNode和DataNode使用的文件格式有可能会改变。当你第一次使用新版本的时候,你要使用

bin/start-dfs.sh -upgrade

告诉Hadoop 去改变HDFS版本(否则,新版本不会生效)。

然后它开始升级,你可以通过

bin/hadoop dfsadmin -upgradeProgress

命令来查看版本升级的情况。

当然你可以使用

bin/hadoop dfsadmin -upgradeProgress details

来查看更多的详细信息。

当升级过程被阻塞的时候,你可以使用

bin/hadoop dfsadmin -upgradeProgress force

来强制升级继续执行(当你使用这个命令的时候,一定要慎重考虑)。



当HDFS升级完毕后,Hadoop依旧保留着旧版本的有关信息,
以便你可以方便的对HDFS进行降级操作。
可以使用bin/start-dfs.sh -rollback来执行降级操作。

 


Hadoop一次只保存一个版本的备份。

当新版本运行几天以后还是没有出现什么问题,你就可以使用

bin/hadoop dfsadmin -finalizeUpgrade

命令把旧版本的备份从系统中删掉了。删除以后rollback 命令就失效了。

在另外一次版本升级前,这个操作是一定要做的。

获取帮助跟 dfs 模块是一样的, 你可以使用

bin/hadoop dfsadmin -help

命令来获取特定的命令的一些用法。

 

 

分享到:
评论
2 楼 chakey 2009-11-14  
chenlinping 写道
还可以这样升级?不错。
问一下楼主,在用hadoop做啥应用?效果如果?

Hadoop可以说是一个技术框架,其最核心的设计就是:MapReduce和HDFS。简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。具体的介绍的介绍请查看我的博文中的《hadoop介绍》,呵呵
1 楼 chenlinping 2009-11-13  
还可以这样升级?不错。
问一下楼主,在用hadoop做啥应用?效果如果?

相关推荐

    HadoopHDFS架构概述推荐系统框架图

    Hadoop 的发展历史:Hadoop 的创始人 Doug Cutting,为了实现与 Google 类似的全文搜索功能,他在 Lucene 框架基础上进行优化升级,查询引擎和索引引擎。2001 年年底 Lucene 成为 Apache 基金会的一个子项目。对于...

    新手指导hadoop、hbase、hive版本对应关系查找表

    对于不同版本的Hadoop、HBase和Hive,它们之间的兼容性不是恒定不变的,版本升级往往带来架构上的改变以及对底层依赖的更新,这都可能对兼容性造成影响。通常,Hadoop的版本发布会包括对HBase和Hive的兼容性测试报告...

    Hadoop2.2.0中HDFS的高可用性实现原理.pdf )

    Hadoop2.2.0的HDFS(Hadoop分布式文件系统)高可用性(HA)解决方案是针对Hadoop早期版本中NameNode存在的单点故障问题而设计的。在Hadoop2.0.0之前,HDFS集群中只有一个NameNode,如果NameNode所在机器出现故障,会...

    基于Hadoop-3.1.1版本的hdfs操作封装.zip

    在Hadoop 3.x系列中,HDFS进行了多项升级,例如支持更大数据块的大小(从128MB提升到256MB),提高了整体吞吐量。 "人工智能-hadoop"这个描述可能意味着这个封装库或工具集特别关注于AI应用场景,比如机器学习和...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】 -

    在选择HBase版本时,应确保其与Hadoop的HDFS版本兼容。HBase通常会明确指出其支持的Hadoop版本范围,例如,HBase 1.x系列可能支持Hadoop 2.x,而HBase 2.x则可能支持Hadoop 3.x。同时,HBase的版本升级也可能涉及到...

    Hadoop各个版本bin内文件

    而`winutils.exe`则是一个Windows版本的实用工具,它提供了类似于Linux `hadoop`命令行工具的功能,如配置HDFS、启动/停止Hadoop服务等。 在实际应用中,为了在Windows上运行Hadoop,开发者或管理员需要正确配置...

    hadoop-common2.2.0和2.7.1版本

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心组件包括Hadoop Common、Hadoop HDFS(Hadoop Distributed File ...当然,升级到更高版本时,需要考虑兼容性问题,确保整个Hadoop生态系统的稳定运行。

    hadoop3.x带snappy(可用于windows本地开发)

    Hadoop 3.0是Hadoop的重要升级版,引入了许多新特性和改进,包括但不限于: 1. **多NameNode支持**:Hadoop 3.0引入了HA(High Availability)NameNode模式,通过主备切换提高了NameNode的可用性,避免了单点故障。...

    hadoop版本差异详解.doc

    第二代Hadoop则包括0.23.x和2.x,这两个版本带来了全新的架构,主要特点是HDFS Federation和YARN。 Hadoop版本间的差异主要体现在以下几个关键特性: 1. **Append支持**:在Hadoop的某些版本中,文件追加功能...

    hadoop-0.20.2-CDH3B4.tar.gz下载

    《Hadoop 0.20.2-CDH3B4:解压缩后的技术解析与应用》 Hadoop,作为Apache软件基金会的重要项目之一,是大数据处理...随着Hadoop和sqoop的不断升级,这些基础知识和实践经验对于理解和优化大数据处理流程至关重要。

    hadoop早期版本

    `0.18.3`之后,Hadoop经历了多次重大版本升级,例如引入YARN(Yet Another Resource Negotiator),解决了JobTracker的单一瓶颈问题,提高了集群资源的利用率。随着Hadoop 2.x系列的推出,Hadoop逐渐成熟,功能更加...

    Hadoop,Hbase,mahout三者兼容版本的API文档

    1. 数据流的一致性:从Hadoop HDFS中读取数据,然后在HBase中进行存储和查询,最后通过Mahout进行分析,整个过程无需担心版本不兼容的问题。 2. 效率提升:由于这三个组件的版本兼容,可以优化资源利用率,减少数据...

    hadoop集群维护手册.pdf

    Hadoop 版本升级需要注意以下几点: 1. 备份 dfs.namenode.dir 下的文件和 hdfs 文件目录的元数据信息。 2. 停止所有节点,重新部署 Hadoop 并替换 conf 文件夹下的所有文件。 3. 使用 bin/start-dfs.sh -upgrade ...

    Hadoop3.0 + JDK1.8.1+Hadoop-win运行包2.6.0--3.0.0

    这是Hadoop的重大升级,引入了许多新特性和性能改进。主要变化包括: 1. **YARN增强**:YARN(Yet Another Resource Negotiator)作为Hadoop的资源管理系统,在3.0中进行了优化,提高了调度效率和资源利用率,支持...

    hadoop2.6.0(winutils、hadoop.dll)

    4. **HDFS模拟器**: Hadoop2.6.0版本包含了HDFS的本地模拟器,使得开发者可以在单机的Windows环境下测试HDFS操作,而无需完整的分布式集群。这对于开发和调试Hadoop应用程序非常有用。 5. **安全认证**: winutils....

    hadoop各个版本,用于测试需要

    4. **Hadoop生态组件**:包括Hive(数据仓库工具)、Pig(数据分析平台)、Spark(快速数据处理引擎)等,它们与Hadoop紧密集成,测试时需确保各组件在不同Hadoop版本上的功能完整性和性能表现。 5. **安全性**:...

    Hadoop的发行版本.pdf

    主版本升级(如从1.xx到2.x0)可能破坏API兼容,需要修改用户代码。次要和单点版本升级通常保持兼容性,但还是建议测试以确保无误。 5. **Apache Bigtop**:为简化Hadoop组件的部署和集成,Apache Bigtop提供了经过...

    Hadoop权威指南(第4版)(修订版) 中英文PDF(含源码)

    Hadoop的核心由两个主要组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS为大数据提供了高容错性和高可扩展性的分布式存储,而MapReduce则提供了分布式计算的能力。 在《Hadoop权威指南(第四...

    hadoop-eclipse插件2.8.1版本和2.6.5版本

    这个插件支持HDFS(Hadoop分布式文件系统)和MapReduce的交互,使得开发者可以方便地浏览HDFS上的文件和目录,创建新的MapReduce项目,并直接从Eclipse提交作业到Hadoop集群。2.6.5版本可能更适合那些运行较旧Hadoop...

    hadoop,hbase,hive版本兼容性说明.zip

    HBase的版本升级可能涉及到与Hadoop版本的协调,因为HBase通常依赖于特定版本的Hadoop。例如,某些HBase版本可能需要Hadoop的特定分支或特定版本才能确保稳定性和性能。 **Hive**: Hive是Facebook开发的一个数据...

Global site tag (gtag.js) - Google Analytics