一、概念介绍
hadoop.tmp.dir配置参数指定hdfs的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。
此参数最好在安装时进行配置
|
1
2
3
4
|
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
</property>
|
二、hdfs的SecondaryNameNode的日志报Inconsistent checkpoint fields异常的原因
最近在本机测试hadoop集群时，发现SecondaryNameNode的日志总是报Inconsistent checkpoint fields异常：ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
java.io.IOException: Inconsistent checkpoint fields.
此异常即是配置hadoop.tmp.dir参数引起的，在hdfs-site.xml中增加此参数，重新启动集群即可。
转自：http://my.oschina.net/cloudcoder/blog/264756
相关推荐
这个过程称为检查点（Checkpoint）。 2. **检查点的时间和大小触发条件**： - 默认配置下，如果edits日志的大小达到了64MB，或者时间间隔达到60分钟，SecondaryNameNode会被触发执行检查点操作。这两个条件是为了...
NameNode及SecondaryNameNode分析
hdfs-secondarynamenode,nn2节点的作用，以及它的运行原理
- **检查点机制**：SecondaryNameNode定期（或当Edits文件大小达到一定阈值时）向NameNode询问是否需要执行检查点（checkpoint）。如果需要，它会执行以下步骤： - 请求NameNode滚动当前的Edits日志，生成新的...
- **SecondaryNameNode的CheckPoint机制:** SecondaryNameNode定期与NameNode交互，询问是否需要进行checkpoint操作。如果NameNode同意，则SecondaryNameNode会请求执行CheckPoint，NameNode会切割现有的Edits文件并...
第5章 NameNode和SecondaryNameNode（面试开发重点） 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应...
1. SecondaryNameNode会定期询问namenode是否需要执行checkpoint。 2. 如果需要，SecondaryNameNode向namenode请求执行checkpoint。 3. 在checkpoint过程中，SecondaryNameNode会引导namenode滚动更新正在写的edits...
SecondaryNameNode 节点会周期性的将 fsimage 和 edits 中记录的对 HDFS 的操作合并到一个previous.checkpoint 中，然后清空 edits。这样可以减少 NameNode 节点的启动时间，并确保 HDFS 集群的高可用性。 5. HDFS...
为了确保数据安全，NameNode会将操作日志记录在磁盘，并通过SecondaryNameNode的checkpoint功能定期合并fsImage和日志。当NameNode的本地磁盘故障时，可以通过配置多个`dfs.namenode.name.dir`指向不同的路径（包括...
`dfs.namenode.checkpoint.period`配置项定义了检查点的间隔时间（默认3600秒，即1小时），而`dfs.namenode.checkpoint.txns`配置项设定了Edits文件的最大事务数（默认100万次）。 总结起来，NameNode和...
在HA集群中，待命的NameNode还负责执行命名空间状态的checkpoints，因此没有必要运行SecondaryNameNode、CheckpointNode和BackupNode。实际上，运行这些守护进程是不必要的，甚至可能导致错误的发生。 总结来说，...
2. `<property><name>fs.checkpoint.size</name><value>67108864</value><description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't...
Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env
fs.checkpoint.period和fs.checkpoint.size分别是检查点的时间间隔和大小阈值。 在没有SecondaryNameNode的情况下，NameNode需要自己进行合并，这可能导致系统资源紧张，影响正常服务。此外，SecondaryNameNode作为...
HDFS Client负责文件切分和上传，NameNode负责管理HDFS的名称空间和数据块映射，DataNode负责存储实际的数据块，SecondaryNameNode负责辅助NameNode和分担工作量。 HDFS是一种高容错、可靠、可扩展的分布式文件系统...
- **触发Checkpoint**：SecondaryNameNode通知Namenode准备执行Checkpoint操作。 - **同步元数据**：Namenode切换Edits日志文件，SecondaryNameNode下载Edits和FsImage文件到本地。 - **合并元数据**：读取FsImage和...
Hadoop常见习题汇编，最新2018年版，仅供大家学习和交流使用，不得作为其他用途。
1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 HDFS元数据解析 2.1 概述 2.2 ...
5. SecondaryNameNode 将 edits1 变成可读文件，生成新的 edits2， edits1 可读文件和 fsimage 一同发送到 SecondaryNameNode 中。 6. SecondaryNameNode 生成新的 fsimage（fsimage_chkpoint），并将其发送到 ...