`
amazon10
  • 浏览: 29485 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

hdfs ha的操作步骤

阅读更多

       hadoop的ha操作流程,本操作是利用ambari完成,如果不是使用ambari,可以参考,要保证其中命令的执行顺序。如果是手动安装hadoop的ha时,可以参考以下执行的命令,但是要保证命令执行的顺序。

 

       hadoop2.0以后的版本支持HA,如图安装HDFS的HA,保证节点在三个以上。

       1. 安装流程从下图开始:

 

    2. 点击后跳转到如下页面,输入Nameservice ID,要牢记ID,用于查看dfs:

     3. 选择要添加为namenode的节点,一般这些节点都是在hadoop集群节点(同时部署了ZooKeeper Server组件)中选取:

     4. 点击Next后,页面显示了hdfs的配置,dfs.joutnalnode.edits.dir是文件的存放的路径,建议大于100G空间的额外挂载的磁盘上,如/hadoop/disk1。其他保持默认即可。

 

  5. 如下页面是需要在namenode节点上进行操作的,保存namespace,按页面提示进行操作即可,其中naster.netposa表示NameNode节点:

  登录NameNode节点(主机名为master.netposa),依次执行以下指令:

     1) sudo su –l hdfs –c ‘hdfs dfsadmin –safemode enter’

      2) sudo su –l hdfs –c ‘hdfs dfsadmin -saveNamespace’

    6. 执行结束后,点击Next跳转到如下页面,等待完成,时间稍微有点儿长:

 

     7.  跳转后登陆到原namenode节点,执行页面中的指令,其中hadoopslave1表示原NameNode节点(这个页面是在安装其他集群时截取的,可能有出入,正常的namenode host应该是master.netposa,页面没什么差别):

登录Namenode节点(主机名为hadoopslave1,本图在其他安装过程中截取,和上面不一样),依次执行以下指令:

      1) sudo su –l hdfs –c ‘hdfs namenode -initializeSharedEdits’

    8. 执行后可以点击Next,跳转到以下页面,等待ZooKeeper Servers和NameNode启动成功:

 

    9. 点击“Next”后跳转到下图页面,其中hadoopslave1表示原NameNode节点,slave161表示新增加的NameNode(这个页面截取是在安装其他集群时的,正常情况下应该是master.netposa表示原NameNode节点,slave1.netposa表示新增加的NameNode)。

页面提示:

    1)登录原NameNode节点(主机名为hadoopslave1,图在其他集群部署过程中截取的);

    2)执行以下命令:

         sudo su –l hdfs –c ‘hdfs zkfc -formatZK’

    3)登录新增加的NameNode(主机名为slave161,本图在其他集群安装过程中截取)

    4)执行以下命令:

          sudo su –l hdfs –c ‘hdfs namenode -bootstrapStandby’

    

   10.  其中新增加的namenode节点执行完后,终端打印出以下信息:

     

    11. 完成后页面出现以下提示:

 

   12. 如下页面执行完成后,整个hdfs的ha启动完成:

   

 

 

  • 大小: 64.6 KB
  • 大小: 36.4 KB
  • 大小: 53 KB
  • 大小: 25.3 KB
  • 大小: 40.6 KB
  • 大小: 18.3 KB
  • 大小: 18.6 KB
  • 大小: 11.1 KB
  • 大小: 34 KB
  • 大小: 9.2 KB
  • 大小: 11.7 KB
  • 大小: 15.6 KB
分享到:
评论

相关推荐

    HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx

    在构建高可用(HA)Hadoop集群时,HDFS(Hadoop Distributed File System)HA配置是关键步骤,目的是确保即使NameNode节点发生故障,数据访问和服务也不会中断。本教程将详细讲解如何配置、启动和验证Hadoop HA集群...

    HDFS HA 高可用部署日志文件,全代码,详细步骤解说(202302070418)

    HDFS 的 HA 和 YARN 的 HA。 3)Hadoop2.0 之前,在 HDFS 集群中 NameNode 存在单点故障(SPOF)。 4)NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外,如宕机,集群将无法使用,直到管理员重启 ...

    Flume配置双HA hdfsSink.docx

    ### Flume配置双HA HDFS Sink详解 #### 一、背景与需求分析 Apache Flume 是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。它具有简单的可扩展架构,易于定制和部署。然而,在某些情况下,用户...

    Hadoop2.6集群环境搭建(HDFS HA+YARN)

    在搭建Hadoop 2.6集群环境时,我们需要关注几个关键组件:HDFS(Hadoop Distributed File System)的高可用性(HA)以及YARN(Yet Another Resource Negotiator)。这个过程涉及多台虚拟机的配置,包括安装操作系统...

    hdfs开启高可用+hive报错

    - 在部署HDFS HA集群时,应确保Hive配置文件中正确设置了与HA相关的配置项,如`dfs.nameservices`、`dfs.ha.namenodes.ns1`等。 - 定期检查Hive Metastore数据库中的表定义和元数据信息,确保它们始终与HDFS HA集群...

    hdfs2-7_3+hbase1_2_5 HA withQJM环境搭建

    本文将深入探讨如何构建一个基于HDFS 2.7.3和HBase 1.2.5的HA环境,并使用Quorum Journal Manager (QJM)来确保数据的可靠性。QJM是一种在Hadoop中实现NameNode HA的关键组件,它通过协调JournalNodes来持久化HDFS的...

    hdfs高可用配置文件

    配置HDFS HA主要包括以下几个步骤: 1. **准备环境**:确保你有两台机器作为NameNode节点,并安装好Hadoop环境。 2. **配置共享存储**:HDFS HA需要一个共享的、持久化的存储空间来保存Edit Logs,这是NameNode元...

    11-Hadoop部署多机HDFS+HA+Federation+YARN1

    总之,成功部署Hadoop的HDFS HA+Federation+YARN涉及多步骤,包括配置文件的修改、各个节点服务的启动以及验证整个系统的正常运行。这个过程需要细心和耐心,但一旦完成,将提供一个高可用、可扩展的大数据处理平台...

    hdfs的高可用搭建

    通过上述步骤,我们可以成功搭建一个基于Hadoop 2.6的HDFS HA集群。这种架构不仅可以有效避免单点故障的问题,还能显著提高系统的稳定性和可靠性。对于需要处理大规模数据的企业来说,HDFS HA是一种非常实用且必要的...

    HDFS High Availability(HA)高可用配置.doc

    总结来说,实现HDFS的HA配置是提升系统稳定性和业务连续性的关键步骤。通过QJM机制和精心的集群规划,可以有效地解决NameNode的单点故障问题,提高HDFS的可用性,为企业数据存储和处理提供更可靠的保障。同时,基础...

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...

    HDFS Federation(联邦)+ViewFS+HA

    - **步骤1:** 使用DEWeb界面配置HA,并将备用NameNode设置为node3。 - **步骤2:** 在DataEngine界面上进行以下配置: - **2.1 core-site.xml**:暂时不修改此文件,待后续进行ViewFS配置时再做调整。 - **2.2 ...

    HadoopHA集群配置文件

    其中,`fs.defaultFS`属性非常重要,它定义了Hadoop应用程序访问HDFS的默认命名节点地址,例如设置为`hdfs://nameservice1`表示使用HA命名服务。 2. `hdfs-site.xml`: 这个文件是HDFS(Hadoop Distributed File ...

    python读取hdfs上的parquet文件方式

    Python 读取 HDFS 上的 Parquet 文件是大数据分析和机器学习中常见的操作。Parquet 是一种列式存储格式,适合大规模数据处理,因为它能够高效地处理结构化数据。HDFS(Hadoop Distributed File System)是分布式文件...

    Hadoop2.0 HA集群搭建步骤

    所谓HA,即高可用,实现高可用最关键的是消除单点故障,hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA;通过双namenode消除单点故障;通过双namenode协调工作

Global site tag (gtag.js) - Google Analytics