Directory /tmp/hadoop-lee/dfs/name is in an inconsistent state: storage directory DOES NOT exist or is NOT accesible
原因:
http://lucene.472066.n3.nabble.com/Directory-tmp-hadoop-root-dfs-name-is-in-an-inconsistent-state-storage-directory-DOES-NOT-exist-or-ie-td812243.html引用
Normally this is due to the machine having been rebooted and /tmp being cleared out. You do not want to leave the Hadoop name node or data node storage in /tmp for this reason. Make sure you properly configure dfs.name.dir and dfs.data.dir to point to directories outside of /tmp and other directories that may be cleared on boot.
再参看下面的文档:
http://hadoop.apache.org/docs/r1.1.1/hdfs-default.html可以知道
dfs.name.dir 的默认值为 ${hadoop.tmp.dir}/dfs/name
dfs.data.dir 的默认值为 ${hadoop.tmp.dir}/dfs/data
所以,在 $HADOOP/conf/core-site.xml 中更改 hadoop.tmp.dir 即可(hadoop.tmp.dir 默认为 /tmp/hadoop-${user.name}),如下面的例子:
指定哪个目录合适那?待议。。。
完事之后记得 format 原 namenode 使异常不再出现(数据亦被格式化掉):
$ hadoop namenode -format
java.io.IOException: File /tmp/hadoop-lee/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
$ hadoop dfsadmin -safemode leave
分享到:
相关推荐
### Hadoop源码阅读总结:IPC/RPC 通信机制详解 #### 一、概述 Hadoop作为分布式计算框架,其内部各个组件之间的通信主要通过RPC(Remote Procedure Call)实现。本文将详细介绍Hadoop中RPC机制的工作原理,特别是...
总结来说,这个"64位Window系统适用的Hadoop插件"解决了Windows用户在运行Hadoop时面临的兼容性和配置难题。通过这些文件,用户可以直接集成到自己的环境中,进行大数据处理和分析任务,而不需要担心平台的限制。这...
在IT行业中,大数据处理和分析是至关重要的环节,而Hadoop和Hive是这个领域中的两个核心组件。本文将深入探讨“Hadoop集群监控”和“Hive高可用性”的主题,结合向磊的分享进行详细阐述。 首先,Hadoop是一个分布式...
如果遇到与NativeIO相关的异常,可能需要修改`NativeIO.java`类。具体修改步骤可能因错误而异,需要根据错误信息进行调整。在本文提到的情况下,可能需要一个修改过的`NativeIO.java`类,按照文档说明进行操作。 5...
总结,Hadoop是一个强大的分布式计算平台,它的学习和实践可以帮助我们处理大数据挑战。从环境搭建、基本概念理解到实际操作和优化,每一步都需要深入研究。这份资料正是为了帮助初学者逐步进入Hadoop的世界,开启...
这些分析可以帮助我们理解用户的通信行为模式,进一步可以用于客户细分、预测用户需求或识别异常行为。 为了实现更深入的分析,HBase这样的分布式NoSQL数据库可能会被引入。HBase是建立在HDFS之上,提供实时读写...
hadoop是一个大数据处理的基础架构,但是在实际使用过程中经常会碰到各种各样的问题,以下是解决hadoop配置运行错误的一些经验总结: 一、hadoop集群在namenode格式化后重启集群会出现Incompatible namespaceIDS...
总结起来,"flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz"是Flink 1.14.0为适应Hadoop 3.x环境而特别构建的兼容性解决方案。它通过Uber jar和阴影处理技术,实现了Flink与Hadoop 3.x的互操作性,让...
最后,文档提到总结和感悟部分,虽然没有提供具体内容,但可以推断其内容可能涉及对Hadoop集群管理中遇到的共性问题和解决方案的总结,以及对于故障处理经验的分享。 整体而言,文档涉及了Hadoop集群的日常管理、...
总结来说,零基础学习Hadoop需要系统地了解Hadoop的基本概念、掌握Linux操作系统基础、了解虚拟化技术、学习Java编程语言。在学习过程中,从了解Hadoop的安装方式,到搭建环境,再到实际配置和使用,每一步都需要...
总结来说,“hadoop2.7.3+mahout0.9问题集”主要涵盖了版本兼容性、环境配置、编译构建、数据处理、任务执行和算法应用等多个方面的问题。通过深入理解和实践,我们可以有效地解决这些问题,充分利用Hadoop和Mahout...
总结来说,"hadoop-common-2.2.0-bin_32bit_&_64bit"包含了在Windows上运行Hadoop所需的二进制文件,特别是对于解决远程调试过程中的空指针异常问题,确保hadoop.dll和winutils.exe的正确配置至关重要。同时,了解并...
- **日志分析**:利用插件提供的日志查看功能,快速定位程序异常。 - **测试策略**:在提交到集群前,先进行本地测试,确保代码无误。 6. **总结** Hadoop Eclipse Plugin 2.6.0为Hadoop开发提供了强大的集成...
Map阶段将任务分解,Reduce阶段进行聚合和总结。 2. **Hadoop工作流程** - 数据读取:客户端通过HDFS API读取或写入文件。 - 分块存储:HDFS将大文件分成多个块,每个块通常为128MB或256MB,并在集群中复制多个...
- Hadoop可以帮助银行等金融机构快速处理大量交易数据,及时发现异常行为,预防欺诈事件的发生。 ### 总结 Hadoop在互联网企业的应用非常广泛,不仅可以帮助企业处理海量数据,还可以支持复杂的业务场景。通过...
对于更复杂的数据分析,可以结合使用Hadoop与机器学习库Mahout或Spark MLlib进行用户行为预测和异常检测。 总结来说,Hadoop在处理大规模上网流量源数据时,提供了强大的分布式存储和计算能力。通过对"HTTP_.dat"...
《高可用性的HDFS——...其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案