`

Hadoop NameNode NFS备份及恢复

 
阅读更多

准备任意一台Linux服务器

[root@localhost share]# mkdir /share

[root@localhost share]# vim /etc/exports

/share *(rw,sync,no_root_squash)

 

 

说明:

no_root_squash:登入 NFS 主机使用分享目录的使用者,如果是 root 的话,那么对于这个分享的目录来说,他就具有 root 的权限!这个项目『极不安全』,不建议使用!
root_squash:在登入 NFS 主机使用分享之目录的使用者如果是 root 时,那么这个使用者的权限将被压缩成为匿名使用者,通常他的 UID 与 GID 都会变成 nobody 那个系统账号的身份。

 

 

[root@localhost share]# service nfs start

 

在NameNode服务器上:

[root@localhost share]# mkdir /share

[root@localhost share]# crontab -u root -e

@reboot /bin/mount -t nfs 10.0.30.67:/share /share >/dev/null 2>&1

 

说明:crontab -u root -r 删除当前用户所有的cron作业。

 

[root@localhost share]# service crond restart

 

配置hdfs-site.xml

 <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/dfs/namenode,/share/dfs/namenode</value>
</property>

 

重启NameNode服务。

如果NameNode服务器崩溃,则启动另外一台相同的服务器,并把/share目录下的文件拷贝过去即可。

分享到:
评论

相关推荐

    hadoop版本差异详解.doc

    备份NameNode通过共享存储系统与主NameNode保持元数据同步,Hadoop提供了NFS、Quorum Journal Manager (QJM)和BookKeeper等多种选择。 c) **HDFS Federation**:通过Federation,Hadoop的HDFS集群可以拥有多个...

    hadoop 高可用性HA部署

    1. **NFS备份方案**:通过NFS共享fsimage和editlog文件,当NameNode挂掉时,可以从备份中恢复,但切换过程可能耗时较长。 2. **Secondary NameNode**:辅助NameNode定期合并fsimage和editlog,减少主NameNode的压力...

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 ...

    hadoop培训视频training stuff

    文件中提到了Hadoop 2.0中NameNode HA的实现方式,这是确保企业级部署中Hadoop集群高可用的重要特性。 Hadoop 2.0还引入了HDFS快照功能。快照可以看作是文件系统某一时间点的一个只读复制品,其创建速度快且开销小...

    Hadoop 2.7.6 呕心沥血制作,100分不多

    Hadoop HA(High Availability)是指在Hadoop集群中提供高可用性的解决方案,确保即使主节点(Namenode)发生故障,也能迅速地将服务切换到备份节点上,从而实现不间断的服务。在Hadoop 2.7.6版本中,HA功能得到了...

    hadoop china 2010

    未来的工作计划包括开发新的调度器以提高集群利用率,研究NameNode的高可用性和内存优化,以及Hadoop的升级和OSD及CRUSH算法的应用。 在Hive的实践中,淘宝从2009年3月开始调研,4月投入生产,使用CLI和Thrift ...

    hadoop版本差异详解.docx.doc

    此外,Hadoop 2.2.0及以后的版本还引入了NameNode HA(High Availability),即主备NameNode切换机制,进一步增强了系统的稳定性。HDFS快照功能也在此期间引入,允许用户创建文件系统的只读副本,以保护重要数据免受...

    基于Hadoop的高可靠分布式计算平台的构建.pdf

    具体实验中,vmihadoop43作为NFS备份服务器,vmihadoop42和vmihadoop44作为数据节点。在客户端访问HDFS时,首先与NameNode通信,获取文件的元数据和位置信息,然后直接与DataNode建立数据通信进行读写操作。 异常...

    Hadoop-2.0中单点故障项目解决方案总结.doc

    两个NameNode同时维护元数据,active NameNode会将更新写入共享存储系统,如NFS,standby NameNode则实时同步这些更新,确保在主NameNode失效时可以快速接管。此外,Zookeeper被用来协调和监控NameNode的状态,确保...

    Hadoop分布式文件系统详解.docx

    在主NameNode故障时,可以使用Secondary NameNode备份的fsimage恢复,但可能存在数据丢失。 3. **DataNode物理结构与角色**: - DataNode通常分布在集群的多个节点上,每个节点存储部分文件块,并定期与NameNode...

    14_尚硅谷大数据之HDFS HA高可用1

    在HDFS HA中,关键策略是对NameNode进行热备份,以消除单点故障。HDFS HA和YARN HA是整个Hadoop集群高可用性的两个重要组成部分。在Hadoop 2.0之前,NameNode的单点故障可能导致整个集群不可用,无论是由于硬件或...

    分布式文件系统-HDFS1

    相比于早期的云存储系统如NFS,HDFS引入了分布式和容错机制,通过数据冗余和自动故障恢复保证系统的稳定性。 然而,Hadoop的局限性在于其MapReduce计算框架,并非所有计算任务都适合该框架。例如,递归或数据前后...

    【HDFS篇11】HA高可用1

    在Hadoop 2.0之前,HDFS(Hadoop Distributed File System)中的NameNode是一个明显的单点故障(SPOF,Single Point of Failure),一旦NameNode出现问题,整个HDFS集群都将无法正常工作,这极大地限制了系统的可用...

    HDFS-HA工作机制

    原理:通过双NameNode消除单点故障。 1.HDFS-HA工作要点 ...实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点

    大数据技术及应用教学课件第3章-大数据存储技术.pptx

    RAID通过组合多个磁盘来提高性能和数据安全性,例如RAID 0用于提高速度,RAID 1用于镜像备份,RAID 5和RAID 6引入了奇偶校验以提供更高的冗余度。随着大数据时代的到来,传统的存储方式逐渐演变为分布式存储架构,...

    浅析HDFS架构和设计

    为了容错,NameNode的元数据通常备份至远程NFS,并可通过辅助NameNode进行故障转移。 3. 文件系统命名空间: HDFS支持类似于传统文件系统的层级结构,允许创建、删除、移动和重命名文件。它还提供磁盘配额和访问...

    分布式文件系统简要对比与分析.pdf

    HDFS是Google开发的GFS的开源版本,是Hadoop系统架构的组成部分。HDFS通过对数据的分布式存储,并利用简单的编程模型MapReduce,能够处理的数据规模达到PB甚至TB级别。HDFS的系统架构包括Namenode、Datanode和Client...

Global site tag (gtag.js) - Google Analytics