- 浏览: 142133 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (43)
- web服务器 (1)
- Linux (6)
- MySQL (3)
- xen (1)
- SpringSide (2)
- Windows (1)
- WebService (1)
- Hadoop (12)
- hbase (0)
- sqoop (1)
- Java (1)
- SQL Server 存储过程 xml (0)
- hive mysql (1)
- Eclipse Hadoop 源码 编译 (1)
- Perl (2)
- Shell (1)
- Nutch (1)
- NFS (0)
- CHM (0)
- SVN (1)
- eclipse (1)
- NekoHTML (0)
- MapReduce (0)
- hive (2)
- spring hibernate (0)
- jsp (0)
- CYGWIN (0)
- maven (0)
- selenium server (0)
- CentOS (1)
- hibernate (1)
- spring mvc (0)
- Mahout (0)
- openvpn (0)
- vpn (0)
- kvm (0)
- git (1)
- CPU (1)
- thrift avro (0)
最新评论
-
rmn190:
不错, 多谢分享!
hdfs mount为linux本地文件系统 -
melburg:
请教一下,hadoop 1.0.3版本中,为什么无法启动bac ...
Hadoop SecondaryNameNode备份及恢复
准备任意一台Linux服务器
[root@localhost share]# mkdir /share
[root@localhost share]# vim /etc/exports
/share *(rw,sync,no_root_squash)
说明:
no_root_squash:登入 NFS 主机使用分享目录的使用者,如果是 root 的话,那么对于这个分享的目录来说,他就具有 root 的权限!这个项目『极不安全』,不建议使用!
root_squash:在登入 NFS 主机使用分享之目录的使用者如果是 root 时,那么这个使用者的权限将被压缩成为匿名使用者,通常他的 UID 与 GID 都会变成 nobody 那个系统账号的身份。
[root@localhost share]# service nfs start
在NameNode服务器上:
[root@localhost share]# mkdir /share
[root@localhost share]# crontab -u root -e
@reboot /bin/mount -t nfs 10.0.30.67:/share /share >/dev/null 2>&1
说明:crontab -u root -r 删除当前用户所有的cron作业。
[root@localhost share]# service crond restart
配置hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/hadoop/dfs/namenode,/share/dfs/namenode</value>
</property>
重启NameNode服务。
如果NameNode服务器崩溃,则启动另外一台相同的服务器,并把/share目录下的文件拷贝过去即可。
发表评论
-
升级hadoop
2013-10-09 10:21 1459在没有更换前先备份数据 [hadoop@Hadoop-1 ... -
hadoop的Avatar机制
2013-08-21 15:45 0http://www.wangyuxiong.com/arch ... -
hive
2013-07-31 14:12 0hive行号 select row_number() o ... -
Hadoop RACK ID Awareness Configuration
2013-01-25 17:21 0The configuration includes ... -
window hadoop
2012-12-28 14:31 0http://hayesdavis.net/2008/06/1 ... -
hadoop读写流程
2012-07-27 15:20 0客户端通过调用FileSystem ... -
hadoop三个配置文件的参数含义说明
2012-07-14 13:03 02 常用的端口配置 2.1 HDFS端 ... -
编译hadoop 1.0.3 eclipse plugin jar包
2012-09-13 10:32 2389环境:Win 7 32bit 1、修改hadoop- ... -
编译hadoop 1.0.3 eclipse plugin jar包
2012-07-07 23:21 3975环境:Win 7 32bit 1、修改hadoop-1. ... -
hadoop fsck使用
2012-05-08 15:05 0首先,执行fsck命令行的客户端必须在hdfs-site.xm ... -
hive使用
2012-05-03 17:33 0[root@cnn001 hive-0.8.1]# bin/h ... -
AvatarNode
2012-04-24 13:28 0http://blog.csdn.net/rzhzhz/art ... -
hdfs mount为linux本地文件系统
2012-03-21 00:08 45511、软件下载 hdfs-webdav.war http:/ ... -
扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
2012-03-15 16:18 1559本文引自:http://badqiu.iteye.com/bl ... -
Hadoop MapReduce统计指定目录下所有文本文件中数字总和
2012-03-06 16:16 0package org.apache.hadoop.exa ... -
Hadoop Zookeeper HBase集群
2012-02-16 16:19 9215注:Hadoop环境搭建请参考上一篇文档。 环境: ... -
Hadoop SecondaryNameNode备份及恢复
2012-02-15 17:22 68891、同步各个服务器时间 yum install ntp n ... -
Hadoop 0.20.205.0安装配置
2012-02-15 15:55 1286环境: 10.0.30.235 NameNode ... -
hadoop mapred-default.xml配置文件
2012-02-15 13:25 4209name value description ... -
hadoop hdfs-default.xml配置文件
2012-02-15 13:05 4187name value description d ...
相关推荐
备份NameNode通过共享存储系统与主NameNode保持元数据同步,Hadoop提供了NFS、Quorum Journal Manager (QJM)和BookKeeper等多种选择。 c) **HDFS Federation**:通过Federation,Hadoop的HDFS集群可以拥有多个...
1. **NFS备份方案**:通过NFS共享fsimage和editlog文件,当NameNode挂掉时,可以从备份中恢复,但切换过程可能耗时较长。 2. **Secondary NameNode**:辅助NameNode定期合并fsimage和editlog,减少主NameNode的压力...
1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 ...
文件中提到了Hadoop 2.0中NameNode HA的实现方式,这是确保企业级部署中Hadoop集群高可用的重要特性。 Hadoop 2.0还引入了HDFS快照功能。快照可以看作是文件系统某一时间点的一个只读复制品,其创建速度快且开销小...
Hadoop HA(High Availability)是指在Hadoop集群中提供高可用性的解决方案,确保即使主节点(Namenode)发生故障,也能迅速地将服务切换到备份节点上,从而实现不间断的服务。在Hadoop 2.7.6版本中,HA功能得到了...
未来的工作计划包括开发新的调度器以提高集群利用率,研究NameNode的高可用性和内存优化,以及Hadoop的升级和OSD及CRUSH算法的应用。 在Hive的实践中,淘宝从2009年3月开始调研,4月投入生产,使用CLI和Thrift ...
此外,Hadoop 2.2.0及以后的版本还引入了NameNode HA(High Availability),即主备NameNode切换机制,进一步增强了系统的稳定性。HDFS快照功能也在此期间引入,允许用户创建文件系统的只读副本,以保护重要数据免受...
具体实验中,vmihadoop43作为NFS备份服务器,vmihadoop42和vmihadoop44作为数据节点。在客户端访问HDFS时,首先与NameNode通信,获取文件的元数据和位置信息,然后直接与DataNode建立数据通信进行读写操作。 异常...
两个NameNode同时维护元数据,active NameNode会将更新写入共享存储系统,如NFS,standby NameNode则实时同步这些更新,确保在主NameNode失效时可以快速接管。此外,Zookeeper被用来协调和监控NameNode的状态,确保...
在主NameNode故障时,可以使用Secondary NameNode备份的fsimage恢复,但可能存在数据丢失。 3. **DataNode物理结构与角色**: - DataNode通常分布在集群的多个节点上,每个节点存储部分文件块,并定期与NameNode...
在HDFS HA中,关键策略是对NameNode进行热备份,以消除单点故障。HDFS HA和YARN HA是整个Hadoop集群高可用性的两个重要组成部分。在Hadoop 2.0之前,NameNode的单点故障可能导致整个集群不可用,无论是由于硬件或...
相比于早期的云存储系统如NFS,HDFS引入了分布式和容错机制,通过数据冗余和自动故障恢复保证系统的稳定性。 然而,Hadoop的局限性在于其MapReduce计算框架,并非所有计算任务都适合该框架。例如,递归或数据前后...
在Hadoop 2.0之前,HDFS(Hadoop Distributed File System)中的NameNode是一个明显的单点故障(SPOF,Single Point of Failure),一旦NameNode出现问题,整个HDFS集群都将无法正常工作,这极大地限制了系统的可用...
原理:通过双NameNode消除单点故障。 1.HDFS-HA工作要点 ...实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点
RAID通过组合多个磁盘来提高性能和数据安全性,例如RAID 0用于提高速度,RAID 1用于镜像备份,RAID 5和RAID 6引入了奇偶校验以提供更高的冗余度。随着大数据时代的到来,传统的存储方式逐渐演变为分布式存储架构,...
为了容错,NameNode的元数据通常备份至远程NFS,并可通过辅助NameNode进行故障转移。 3. 文件系统命名空间: HDFS支持类似于传统文件系统的层级结构,允许创建、删除、移动和重命名文件。它还提供磁盘配额和访问...
HDFS是Google开发的GFS的开源版本,是Hadoop系统架构的组成部分。HDFS通过对数据的分布式存储,并利用简单的编程模型MapReduce,能够处理的数据规模达到PB甚至TB级别。HDFS的系统架构包括Namenode、Datanode和Client...