- 浏览: 195361 次
-
文章分类
最新评论
Due to its unfortunate naming, the Secondary NameNode (SNN) is sometimes
confused with a failover backup for NameNode. It most certainly is not. The SNN
only serves to periodically clean up and tighten the fi lesystem’s state information in
NameNode, helping NameNode become more effi cient. NameNode manages the
fi lesystem’s state information using two fi les, FsImage and EditLog . The fi le FsImage is
a snapshot of the fi lesystem at some checkpoint, and EditLog records each incremental
change ( delta ) to the fi lesystem after that checkpoint. These two fi les can completely
determine the current state of the fi lesystem. When you initialize NameNode, it merges
these two fi les to create a new snapshot. At the end of NameNode’s initialization,
FsImage will contain the new snapshot and EditLog will be empty. Afterward any
operation that changes the state of HDFS is appended to EditLog, whereas FsImage will
remain unchanged. When you shut down NameNode and restart it, the consolidation
will take place again and make a new snapshot. Note that the two fi les are only for
retaining the fi lesystem’s state information while NameNode is not running (either
intentionally shut down or due to system malfunction ). NameNode keeps in memory
a constantly maintained copy of the fi lesystem’s state information to quickly answer
queries about the fi lesystem
Usage:hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
发表评论
-
多表join的一个优化思路
2012-11-20 11:24 1476big table:streamed small table: ... -
好的网站
2012-09-20 22:17 7971. http://www.cnblogs.com/luche ... -
Hadoop 任务流程
2012-09-07 16:18 836简单的来说分为四个阶段:InputFormat/MapTask ... -
Hadoop关于最大map reducer数目
2012-08-14 20:53 991mapred-site.xml文件: <prop ... -
java.io.IOException:Typemismatch in key from map:expected org.apache.hadoop.io
2012-08-14 20:53 1467解决办法: jo ... -
HDFS 输入文件避免切分
2012-08-14 20:52 1129自定义InputFormat的子类,并把重载方法 ... -
Hadoop 开启debug信息
2012-08-14 20:51 4005运行hadoop程序时,有时候你会使用一些System. ... -
Hadoop 关于0.95/1.75 * (number of nodes)误解
2012-08-14 20:51 988reduce任务槽,即集群能够同时运行的redu ... -
MapReduce ReadingList
2012-08-09 12:22 7071. http://www.aicit.org/jcit/gl ... -
"hadoop fs 和hadoop dfs的区别"
2012-05-30 15:27 1940粗略的讲,fs是个比较抽象的层面,在分布式环境中,fs就是df ... -
Hadoop 自动清除日志
2012-05-29 18:02 954hadoop集群跑了很多的任务后 在hadoop.log ... -
DistributedCache FileNotFoundException
2012-05-26 18:02 1008此时注意两种文件路径表示形式,一个在HDFS中。一一个是本地文 ... -
Cygwin 不支持native lib 不支持使用native lib 提供的压缩
2012-05-25 13:33 1156弄了一个上午hadoop的压缩,一直报错NullPointer ... -
Hadoop 在Window下搭建 守护进程启动问题
2012-05-23 15:27 837hadoop version “0.20.2” java ... -
Cygwin ssh Connection closed by ::1
2012-05-17 21:09 1150在Win7下Cygwin中,使用sshlocalhost命令, ... -
Eclipse:Run on Hadoop 没有反应
2012-05-10 20:11 909hadoop-0.20.2下自带的eclise插件没有用,需要 ... -
Hadoop SequcenceFile 处理多个小文件
2012-04-29 11:04 3896利用sequenceFile打包多个小文件,MapFile是s ... -
Hadoop 自定义计数器
2012-04-22 09:04 1504public static class mapper e ... -
MapReduce : 新版API 自定义InputFormat 把整个文件作为一条记录处理
2012-04-10 21:47 2301自定义InputFormat 新版API 把真个文件当成 ... -
MapReduce : Combiner的使用(以平均数为例) 并结合in-mapper design pattern 实例
2012-04-10 18:51 4346没有使用Combiner 和 in-mapper des ...
相关推荐
理解NameNode和Secondary NameNode的工作机制对于优化Hadoop集群的性能和可靠性至关重要。在实际的Hadoop部署中,根据集群规模和业务需求,合理配置这两个组件的参数,以及监控它们的运行状态,都是运维人员必须掌握...
4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...
| hadoop-node8 | *.*.83.8 | Hadoop Secondary Namenode/HBase HMaster/ZooKeeper | 三、硬件环境 在本文中,我们使用8台曙光服务器,每台服务器配置如下: * CPU:8核 * 硬盘:两个500GB硬盘 * 操作系统:SUSE ...
了解了namenode和secondarynamenode的工作机制之后,我们可以看到,在Hadoop系统中,通过这样的设计既保证了系统的高可用性,又确保了元数据的稳定性和一致性。这种机制是Hadoop处理大数据时能够保持高效和稳定运行...
3. `<property><name>fs.checkpoint.dir</name><value>/data/work/hdfs/namesecondary</value><description>Determines where on the local filesystem the DFS secondary ...-secondary namenode 的存储目录...
### Hadoop源代码分析——Secondary NameNode深入解析 #### 一、引言 在Hadoop分布式文件系统(HDFS)中,Secondary NameNode虽然不是核心组件,但它在维护系统的稳定性和提高性能方面扮演着重要的角色。本文将...
- **格式化分布式文件系统**:使用`bin/hadoop namenode -format`命令格式化新的HDFS。 - **启动Hadoop守护进程**:执行`bin/start-all.sh`脚本来启动所有Hadoop守护进程。 - **查看Hadoop守护进程日志**:日志文件...
在Hadoop生态系统中,Secondary NameNode扮演着重要的角色,它是NameNode的一个辅助节点,负责周期性地与NameNode进行检查点(Checkpoint)操作,以帮助NameNode减轻内存压力并保持数据一致性。本文将深入探讨...
* Secondary NameNode:HA(高可用性)解决方案,用于镜像备份和日志与镜像的定期合并。 HDFS中的基本概念 * 文件块(Block):最基本的存储单位,HDFS默认Block大小是128MB。 * Replication:指定多副本,HDFS中...
配置Hadoop集群,包括设置 Namenode 节点、DataNode 节点、Secondary Namenode 节点等。 五、结语 本文档详细介绍了如何搭建Hadoop完全分布式集群,包括安装Linux操作系统、设置静态IP、安装SSH并配置免密码访问...
为此,Hadoop社区引入了多种解决方案,如Secondary NameNode、Backup NameNode、AvatarNode等,但这些方法要么不能提供即时的故障切换,要么不能保证数据完整性。 HA的实现方式主要依赖于共享存储和故障切换机制。...
2. "hadoop的namenode和secondnamenode分开部署在不同服务器.htm" - 这篇文档可能讲解了如何将Hadoop的NameNode(主节点)和Secondary NameNode(辅助节点)部署在不同的物理服务器上,以提高系统的可用性和稳定性。...
其中,HDFS 是 Hadoop розпределённой файловой системой,包括 Namenode、Secondary Namenode、DataNode 等组件。 3. HDFS(Hadoop Distributed File System): HDFS 是 Hadoop ...
这个过程中,Secondary NameNode获取FsImage和旧的EditLog,应用日志操作生成新的FsImage.ckpt,并将结果返回给NameNode。这样,NameNode始终保持最新的元数据信息,而Secondary NameNode则可以处理旧的FsImage和...
HDFS 架构主要包括 NameNode、Secondary NameNode 和 DataNode 三部分。 * NameNode:负责管理 HDFS 的目录树和相关文件的元数据信息。 * Secondary NameNode:有两个作用,一是镜像备份,二是日志与镜像定期合并,...
master 节点用于运行 namenode、secondary namenode 和 jobtracker 任务,而 slave 节点用于运行 datanode 和 tasktracker 任务。可以通过复制和粘贴虚拟机节点来轻松地创建多个虚拟机节点。 hosts 文件配置 hosts...
5. `dfs.namenode.checkpoint.dir`: 用于设定Secondary NameNode存储检查点的本地文件系统路径,这里是`file:///home/hadoop/hadoop2.7/hdfs/namesecondary`。 6. `dfs.webhdfs.enabled`: 如果设置为`true`(如案例...
总的来说,Hadoop HDFS的设计考虑了大数据环境下的可扩展性、容错性和性能优化,NameNode和Secondary NameNode的协作机制是确保系统稳定性和数据一致性的关键。对于大数据项目来说,理解这些核心概念对于系统设计和...
4. Secondary NameNode:Secondary NameNode是HDFS集群中的备份NameNode,用于在Primary NameNode故障时提供服务。Secondary NameNode会定期从Primary NameNode同步数据,以确保数据的一致性。 5. 数据块报告:...
了解如何设置和优化Secondary NameNode的配置可以提高整个Hadoop集群的效率。 "jobtracker"是Hadoop MapReduce旧版中的任务调度器和资源管理器,负责作业的提交、监控和调度。每个MapReduce作业被分解为多个map任务...