`

secondarynamenode配置使用总结

 
阅读更多

一、环境

Hadoop 0.20.2、JDK 1.6、Linux操作系统

二、背景

上周五的时候,由于操作系统的原因,导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是,出问题的机器就是Master。当时心里就凉了半截,因为secondarynamenode配置也是在这个机器上(默认的,没改过)。不过万幸的是这个集群是测试环境,所以问题不大。借这个缘由,我将secondarynamenode重新配置到其他机器上,并做namenode挂掉并恢复的测试。

三、操作

1、关于secondarynamenode网上有写不错的文章做说明,这里我只是想说关键一点,它不是namenode的备份进程,说白了,namenode挂了,如果secondarynamenode没挂,很不幸,集群一样无法正常工作。这里有个文档翻译的很好,我链接一下:http://blog.csdn.net/AE86_FC/archive/2010/02/03/5284181.aspx

2、secondarynamenode一般来说不应该和namenode在一起,所以,我把它配置到了datanode上。配置到datanode上,一般来说需要改以下配置文件。conf/master、conf/hdfs-site.xml和conf/core-site.xml这3个配置文件,修改部分如下:

master:一般的安装手册都是说写上namenode机器的IP或是名称。这里要说明一下,这个master不决定哪个是namenode,而决定的是secondarynamenode(决定谁是namenode的关键配置是core-site.xml中的fs.default.name这个参数)。所以,这里直接写上你的datanode的IP或机器名称就可以了。一行一个。

hdfs-site.xml:这个配置文件要改1个参数:

0.0.0.0改为你的namenode的IP地址。

<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:50070</value>
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
    If the port is 0 then the server will start on a free port.
  </description>
</property>

core-site.xml:这里有2个参数可配置,但一般来说我们不做修改。fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。fs.checkpoint.size表示一次记录多大的size,默认64M。

<property>
  <name>fs.checkpoint.period</name>
  <value>3600</value>
  <description>The number of seconds between two periodic checkpoints.
  </description>
</property>

<property>
  <name>fs.checkpoint.size</name>
  <value>67108864</value>
  <description>The size of the current edit log (in bytes) that triggers
       a periodic checkpoint even if the fs.checkpoint.period hasn't expired.
  </description>
</property>

3、配置检查。配置完成之后,我们需要检查一下是否成功。我们可以通过查看运行secondarynamenode的机器上文件目录来确定是否成功配置。首先输入jps查看是否存在secondarynamenode进程。如果存在,在查看对应的目录下是否有备份记录。如下图:

 

该目录一般存在于hadoop.tmp.dir/dfs/namesecondary/下面。

四、恢复

1、配置完成了,如何恢复。首先我们kill掉namenode进程,然后将hadoop.tmp.dir目录下的数据删除掉。制造master挂掉情况。

2、在配置参数dfs.name.dir指定的位置建立一个空文件夹; 把检查点目录的位置赋值给配置参数fs.checkpoint.dir; 启动NameNode,并加上-importCheckpoint。(这句话抄袭的是hadoop-0.20.2/hadoop-0.20.2/docs/cn/hdfs_user_guide.html#Secondary+NameNode,看看文档,有说明)

3、启动namenode的时候采用hadoop namenode –importCheckpoint

五、总结

1、secondarynamenode可以配置多个,master文件里面多写几个就可以。

2、千万记得如果要恢复数据是需要手动拷贝到namenode机器上的。不是自动的(参看上面写的恢复操作)。

3、镜像备份的周期时间是可以修改的,如果不想一个小时备份一次,可以改的时间短点。core-site.xml中的fs.checkpoint.period值

分享到:
评论

相关推荐

    hadoop3.0.0安装和配置

    总结来说,Hadoop 3.0.0的安装和配置涉及到多个步骤,包括环境准备、安装依赖、配置文件修改和启动验证。每个环节都至关重要,需要仔细操作,确保所有步骤都正确无误,才能成功构建和运行Hadoop集群。

    hadoop分布计算配置.pptx

    例如,使用`jps`命令查看各个节点上的进程,确认NameNode、SecondaryNameNode、JobTracker、TaskTracker和DataNode等关键服务是否正常运行。还可以通过`hadoop dfsadmin -report`命令查看HDFS的详细状态,包括总容量...

    Ubuntu Hadoop 0.20.2 安装配置说明

    | ubuntu01 | 192.168.1.131 | SecondaryNameNode | | ubuntu02 | 192.168.1.132 | DataNode | | ubuntu03 | 192.168.1.133 | DataNode | | ubuntu04 | 192.168.1.134 | DataNode | #### 四、配置主机名 为了确保...

    Hadoop期末考试题总结.doc

    "Hadoop期末考试题总结" 本资源摘要信息主要介绍了Hadoop的相关知识点,涵盖了Hadoop的版本、4V特征、大数据存储、HDFS、MapReduce、SecondaryNameNode、Hadoop shell命令、集群管理工具等方面。 1. Hadoop的最高...

    hadoop分布式配置.docx

    完成上述配置后,可以使用`sbin/start-dfs.sh`或`sbin/start-all.sh`命令启动Hadoop集群,并在每台虚拟机上执行`jps`命令来检查进程是否正常启动。在主节点上应能看到三个进程启动:Namenode、SecondaryNamenode和...

    Hadoop HA配置

    Hadoop 2.0.0版本之前,HDFS集群中只有一个NameNode,如果NameNode出现故障,集群将无法使用。这种单点故障的问题严重影响了Hadoop集群的可用性和稳定性。为了解决这个问题,Hadoop引入了HA配置。 二、HA架构原理 ...

    Hadoop学习总结之五:Hadoop的运行痕迹

    然而,随着其功能的不断扩展和复杂性的增加,用户在使用过程中难免会遇到各种各样的问题。本文旨在通过对Hadoop运行痕迹的深入分析,帮助用户更有效地诊断和解决问题。 #### 二、Hadoop运行环境搭建 为了能够跟踪...

    hdfs-3.3.1安装及维护

    配置 Hadoop 的 Java 环境,包括设置 JAVA_HOME、HDFS_NAMENODE_USER、HDFS_DATANODE_USER、HDFS_SECONDARYNAMENODE_USER 等环境变量。 2.4 配置 core-site.xml 配置 core-site.xml 文件,包括设置 fs.defaultFS ...

    hadoop的伪分布式模式配置与安装

    #### 八、总结 通过以上步骤,我们可以成功地在一个由三台主机组成的集群上部署了一个Hadoop伪分布式环境。这种模式虽然不是完全意义上的分布式,但它提供了足够的灵活性来测试和验证Hadoop的各种功能,同时也能够...

    Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61

    如果你使用的是Ubuntu系统,可以参考专门针对Ubuntu的Hadoop安装教程。此外,需要创建一个名为"hadoop"的用户,以便后续的配置和操作。通过以下命令创建用户: ```bash su useradd -m hadoop -s /bin/bash passwd ...

    大数据实验一,Hadoop安装及使用

    - **配置环境变量**:通过编辑`~/.bashrc`文件,设置JAVA_HOME等环境变量,并使用`source ~/.bashrc`命令使更改立即生效。 3. **Hadoop的安装与配置**: - **Hadoop安装**:从官方网站下载Hadoop压缩包,并将其...

    HADOOP2.2安装部署手册

    接着,配置MySQL并创建Hive使用的元数据数据库。最后,修改Hive配置文件并开启Hive服务。 9. Spark安装: - Spark是一个快速的分布式计算系统,提供了一个高层次的API来操作分布式数据集。在安装Spark时,需要修改...

    大数据hadoop的暂时性的小总结.docx

    首先,Hadoop环境的搭建是使用Hadoop的基础。在描述中提到了一个基于CDH5.14.0的伪分布式环境搭建步骤,这通常包括解压Hadoop安装包、安装依赖库(如openssl-devel)、修改配置文件、创建数据存储目录、分发安装包和...

    hadoop手册【最新版本】

    #### 六、总结 通过上述内容的学习,我们可以了解到Hadoop不仅仅是一个简单的分布式文件系统,而是一个包含了复杂配置与管理机制的综合解决方案。掌握这些配置知识对于有效地部署和维护Hadoop集群至关重要。随着...

    大数据学习总结文档.doc

    包括环境配置、Hadoop安装、配置文件修改、启动服务等步骤,确保所有节点能正常通信并协同工作。 3.2 HDFS命令及pyhdfs API HDFS提供了一套命令行工具用于文件操作,pyhdfs是Python的HDFS API,方便在Python程序中...

    Spark实验:On Yarn模式安装部署(带答案)1

    总结来说,Spark on Yarn的安装部署涉及到多个环节,包括环境配置、资源管理器的设置、集群启动以及应用的提交和监控。每个步骤都需要仔细操作,以确保Spark能够有效地在Hadoop集群上运行。通过这个实验,不仅可以...

Global site tag (gtag.js) - Google Analytics