我在本地搭建了一个hadoop的伪分布式环境，在本地put文件到hdfs的时候发生异常。
hadoop fs -put hello.log /hello/201803201140/
异常信息：
There are 0 datanode(s) running and no node(s) are excluded in this operation.
查看DataNode的日志文件，有如下的异常信息：
2018-11-21 14:49:15,524 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/Users/kpx/Datas/hadoop/hdfs/tmp/dfs/data
java.io.IOException: Incompatible clusterIDs in /Users/kpx/Datas/hadoop/hdfs/tmp/dfs/data: namenode clusterID = CID-8d444e87-7d47-497d-b92a-83a15c2f025d; datanode clusterID = CID-206e5c4d-31bf-40e7-ad76-4ecf4bb2fa5c
java.io.IOException: Incompatible clusterIDs in /Users/kpx/Datas/hadoop/hdfs/tmp/dfs/data: namenode clusterID = CID-8d444e87-7d47-497d-b92a-83a15c2f025d; datanode clusterID = CID-206e5c4d-31bf-40e7-ad76-4ecf4bb2fa5c
表名DataNode有问题，然后使用 jps 命令查看java的检查，发现没有DataNode被启动：
进程情况： 写道
58400 ResourceManager
58499 NodeManager
58206 SecondaryNameNode
57967 NameNode
58499 NodeManager
58206 SecondaryNameNode
57967 NameNode
突然意识到可能是之前我反反复复搭建hadoop的过程中几次中断过程、几次format namenode等乱七八糟的操作引起的DataNode的文件异常。
查看 core-site.xml 配置文件里面的 <name>hadoop.tmp.dir</name> ，进入该目录下面的 dfs 目录，如下：
data
name
namesecondary
name
namesecondary
这3个目录下面的内容都删除，然后重新运行namenode的格式化：
hdfs namenode -format
重新运行 put 命令上传文件，成功！
相关推荐
在使用Hadoop进行数据上传时，可能会出现"cannot replicate to node 0, instead of 1"的错误提示。解决办法是，打开http://localhost:50070/dfshealth.jsp，查看livenode的数量是否与机器的实际数量相同。如果发现...
### Hadoop Datanode启动失败：Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中，用户可能会遇到Datanode启动失败的情况。这一问题通常表现为，在尝试启动Hadoop集群时，Datanode...
在Windows环境下搭建Hadoop集群，通常比在Linux系统中更为复杂，因为Hadoop原生是为Linux设计的。然而，通过一些额外的配置和库文件，我们可以在Windows上运行Hadoop。以下是一些关于在Windows上安装Hadoop库文件的...
这个压缩包文件包含的是"Hadoop.dll"和"winutils.exe"两个关键组件，它们对于在Windows环境下配置和运行Hadoop生态系统至关重要。 首先，我们来详细了解这两个文件： 1. **Hadoop.dll**：这是一个动态链接库（DLL...
9. 文件系统命令：Hadoop 提供了多种文件系统命令，如 hadoop fs -ls、hadoop fs -put 等，用于管理 HDFS 中的文件。 10. BP（Block Pool）：在 HDFS 中，每个数据块都有一个唯一的 BP 名称，该名称是在 HDFS 格式...
在此文件中添加Hadoop的环境变量，例如`HADOOP_HOME`等，并使更改生效。 ```bash [root@namenode ~]# source /etc/profile ``` 使用`hadoop version`命令验证Hadoop是否正确安装。 4. **配置Hadoop环境文件**...
在大数据处理领域，Hadoop是一个不可或缺的开源框架，它提供了分布式存储（HDFS）和分布式计算（MapReduce）的能力。本文将详细介绍如何在单机环境下搭建Hadoop的伪分布式模式，这是一种模拟分布式环境的配置，适合...
首先，`winutils.exe`是Hadoop在Windows系统中的一个重要组件，主要负责执行一些本地操作，如设置HDFS的权限、启动守护进程等。由于Hadoop最初是为Linux设计的，因此在Windows上运行时需要这个特殊工具来模拟某些...
这通常包括设置环境变量（如HADOOP_HOME）、配置Hadoop的配置文件（如core-site.xml、hdfs-site.xml、mapred-site.xml等）以及启动Hadoop的NameNode和DataNode服务。 2. **配置Eclipse**：在Eclipse中，我们需要...
本压缩包“Windows本地安装Hadoop所需文件.zip”包含了在Windows系统上运行Hadoop所需的关键组件和配置文件，方便快速启动你的Hadoop学习之旅。 Hadoop是一个开源的分布式计算框架，主要由Hadoop Distributed File ...
在分布式计算领域，Hadoop是不可或缺的关键框架，它为大数据处理提供了强大支持。Hadoop的默认配置文件对于理解和优化Hadoop集群的运行至关重要。本文将深入解析标题提及的四个核心配置文件：`core-default.xml`、`...
在Hadoop生态系统中，配置文件是管理和优化集群性能的关键元素。本文将深入解析Hadoop的常用配置，包括HDFS（Hadoop Distributed File System）和MapReduce的端口配置，以及一些核心的默认配置参数。 首先，让我们...
- 描述：定义 DataNode 在本地磁盘中存放数据块的位置，可以通过逗号分隔多个目录。 - 示例：`dfs.data.dir=file:/opt/hadoop/tmp/dfs/data1,file:/opt/hadoop/tmp/dfs/data2` 4. **NameNode RPC 请求处理器线程...
A number of organizations are focusing on big data processing, particularly with Hadoop. This course will help you understand how Hadoop, as an ecosystem, helps us store, process, and analyze data. ...
在Windows 10环境下，使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务，尤其对于初学者和开发者来说，理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目，它提供了一个分布式文件系统...
在本文中，我们将深入探讨如何在Windows环境下安装和部署Hadoop 3.0.0，并进行基本的操作，如启动服务、上传文件到HDFS、创建目录以及运行MapReduce的WordCount示例。Hadoop是Apache基金会的一个开源项目，主要用于...
实验2的目的是在Hadoop平台上部署WordCount程序，以此来理解和体验云计算的基础应用。这个实验主要涉及以下几个关键知识点： 1. **Linux系统基础**：实验要求学生具备Linux系统的使用知识，包括基本的命令行操作、...
Hadoop 集群可以运行在三种模式下：单机（本地）模式、伪分布式模式和全分布式模式。 * 单机（本地）模式：在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个 JVM 上。这里同样没有 DFS，使用的是...
这里设置为 file:/usr/hadoop/dfs/tmp，表示将临时文件存储在 /usr/hadoop/dfs/tmp 目录下。 4. hadoop.proxyuser.whdx.hosts：指定代理用户的主机列表。这里设置为 \*，表示允许所有主机作为代理用户。 5. hadoop...