`
younglibin
  • 浏览: 1210750 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop secondarynamenode的作用

 
阅读更多

 

secondary  ;中等的 次要的 第二的

secondarynamenode的认识,

1、初学者会见名思义的认为secondarynamenode是namenode的备份其它的,或者认为它们是一样的。实质上,它是namenode的一个快照,会根据configuration中设置的值来决定多少时间周期性的去spap一下namenode,记录namenode中的metadata及其它数据。

2、假使namenode损坏或丢失之后,无法启动hadoop这时就要人工去干预恢复到secondarynamenode中所照快照的状态,这就意味着集群的数据会或多或少的丢失和一些宕机时间,并且将secondarynamenode作为重要的namenode来处理,这就要求,尽量不要将secondarynamede和namenode放在同一台机器上。

下篇会说如何使用secondarynamenode去恢复namenode.

分享到:
评论

相关推荐

    Windows下hadoop3.1.0 64位hadoop.dll和winutils.exe

    解压后,替换掉hadoop中原有的bin目录即可。...start "Apache Hadoop Distribution" hadoop secondarynamenode Taskkill /FI "WINDOWTITLE eq Apache Hadoop Distribution - hadoop secondarynamenode

    hdfs-secondarynamenode.png

    hdfs-secondarynamenode,nn2节点的作用,以及它的运行原理

    Hadoop期末考试题总结.doc

    本资源摘要信息主要介绍了Hadoop的相关知识点,涵盖了Hadoop的版本、4V特征、大数据存储、HDFS、MapReduce、SecondaryNameNode、Hadoop shell命令、集群管理工具等方面。 1. Hadoop的最高版本是Hadoop 3.x,当前...

    SecondaryNameNode职责.pptx

    在Hadoop分布式文件系统(HDFS)中,SecondaryNameNode是一个关键组件,它在系统运行过程中扮演着重要的角色。此组件的主要职责是辅助...然而,理解SecondaryNameNode的作用仍然是理解Hadoop工作原理的关键部分。

    常见Hadoop面试题

    3. SecondaryNameNode 的作用是帮助 NameNode 合并编辑日志,减少 NameNode 启动时间。 MapReduce 知识点 1. JobTracker 是一个 master 服务,负责调度 Job 的每一个子任务 task 运行于 TaskTracker 上,并监控...

    hadoop-3.1.3.tar.gz

    Hadoop的服务包括NameNode、DataNode、SecondaryNameNode以及ResourceManager、NodeManager等。启动Hadoop集群,可以依次执行以下命令: ``` start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后,可以...

    hadoop shell命令

    **hadoop secondarynamenode** SecondaryNamenode并不存储数据块,而是定期合并Namenode的日志文件,减少Namenode的重启时间。 ### 总结 Hadoop Shell命令为用户提供了对HDFS进行文件操作、执行MapReduce任务、...

    hadoop-2.7.5 windows环境

    2. **启动Hadoop服务**: 先启动DataNode和SecondaryNameNode,再启动NameNode,最后启动ResourceManager和NodeManager。使用以下命令: ``` hadoop dfsadmin -safemode leave start-dfs.cmd start-yarn.cmd ```...

    hadoop3.x笔记.docx

    Hadoop 是一个基于分布式存储的大数据处理框架,本文档将详细介绍 Hadoop 3.x 的配置和底层原理,从零搭建集群以及解决遇到的问题,通过图形化的方式更好地理解 Hadoop 的作用。 一、HDFS 组成 HDFS(Hadoop ...

    Hadoop测试题

    7. SecondaryNameNode 的作用是帮助 NameNode 合并编辑日志,减少 NameNode 的启动时间。因此,正确答案是 c) 它的目的是帮助 NameNode 合并编辑日志,减少 NameNode 启动时间。 集群管理 8. 集群的管理工具包括 ...

    hadoop1.0.2 hbase0.94安装

    5. **启动Hadoop**:依次启动SecondaryNameNode、DataNode和ResourceManager,最后启动NodeManager。通过jps命令检查各个进程是否正常运行。 6. **测试Hadoop**:可以使用`hadoop fs -put`命令上传文件到HDFS,然后...

    Hadoop集群架构搭建分析

    环境搭建是指在搭建 Hadoop 集群环境的过程中需要进行的步骤,包括配置 NameNode、DataNode、JobTracker、TaskTracker、HMaster、HRegionServer、SecondaryNameNode、HQuorumPeer 等组件。 配置 NameNode 需要设置 ...

    Hadoop命令手册

    - **用法**: `hadoop secondarynamenode [GENERIC_OPTIONS]` ##### tasktracker 管理TaskTracker服务。 - **用法**: `hadoop tasktracker [GENERIC_OPTIONS]` 通过以上介绍,可以看出Hadoop命令手册不仅包含了基本...

    HADOOP PDF

    6. 安装Namenode、SecondaryNamenode和Datanode:这是搭建Hadoop集群的关键步骤,涉及到在集群中的每台机器上安装对应的软件包。Namenode负责管理文件系统的命名空间,SecondaryNamenode负责辅助NameNode的管理工作...

    Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61

    启动Hadoop的各个服务组件,包括DataNode, NameNode, NodeManager, ResourceManager, SecondaryNameNode: ```bash start-dfs.sh start-yarn.sh ``` **检查Hadoop状态** 通过Web界面检查Hadoop服务是否运行正常: -...

    hadoop安装部署说明文档

    6. **启动Hadoop**:依次启动DataNode、SecondaryNameNode和ResourceManager,最后启动NodeManager。 7. **检查运行状态**:通过Web界面查看各服务是否正常运行,通常端口分别为50070(NameNode)、8088...

    hadoop介绍

    - 或者单独启动每个服务,遵循正确的启动顺序:Namenode → Datanode → Secondarynamenode → Jobtracker → Tasktracker。 - 检查启动情况:可以通过`jps`命令查看Java进程,确认是否有5个Java进程正在运行,或者...

Global site tag (gtag.js) - Google Analytics