对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置
<property>
<name>dfs.datanode.du.reserved</name>
<value>10737418240</value>
</property>
dfs.datanode.du.reserved的单位为字节,上面的预留空间为10G,预留30G:32212254720
预留20G:21474836480
预留空间可能遇到的问题:预留了10G,但是该节点磁盘空间去没有真正剩余,而是一直会放数据,原因可能是如下方面:
通过 df -h 查看容量显示如下:
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 243G 200G 31G 87% /data
注:说明总容量为243G,使用了200G,可用31G 这里有个问题,使用量+可用量!=总容量,少掉了12G,这就是问题所在。
dfs.datanode.du.reserved设置为10G的话
通过hadoop dfsadmin -report 查看显示如下
Configured Capacity: 228260941824 (232.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (38.48 GB)
Configured Capacity显示的dfs.data.dir指定的目录空间总容量大小-dfs.datanode.du.reserved的容量,
如果像之前设置 dfs.datanode.du.reserved为10G的话,Configured Capacity为:232.58 GB,DFS Remaining则为38.48G,
但实际/dev/sda4 可用空间才只有31G,所以有数据的话会一直会存入该节点,直到放满。
解决方法:将dfs.datanode.du.reserved设置更大。目前设置为30G
这样,hadoop dfsadmin -report 查看
Configured Capacity: 228260941824 (212.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (18.48 GB)
dfs可用空间18.48<31G,所以当dfs全部用完,磁盘/dev/sda4还是有13G空间空闲,达到要的效果!
相关推荐
50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address,DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode...
Hadoop 是一个基于分布式存储的大数据处理框架,本文档将详细介绍 Hadoop 3.x 的配置和底层原理,从零搭建集群以及解决遇到的问题,通过图形化的方式更好地理解 Hadoop 的作用。 一、HDFS 组成 HDFS(Hadoop ...
标题“win32win64hadoop2.7.x.hadoop.dll.bin”暗示了这是一个与Hadoop 2.7.x版本相关的二进制文件,适用于32位和64位的Windows操作系统。描述中提到,这些文件是用于在Windows环境下部署Hadoop时必需的组件,并且在...
4. **设置Hadoop配置文件**: - 编辑`core-site.xml`,设置HDFS的地址和端口。 - 编辑`hdfs-site.xml`,根据需要配置HDFS的副本数量和其他参数。 - 编辑`mapred-site.xml`,设置MapReduce框架的参数。 - 编辑`...
<name>dfs.datanode.data.dir <value>file:///app/hadoop/data/datanode ``` 3. 修改`etc/hadoop/yarn-site.xml`配置文件,配置YARN资源管理器: ```xml <name>yarn.resourcemanager.hostname <value>master ...
### Hadoop 2.x 安装与配置详解 #### 一、准备工作 在开始Hadoop 2.x集群的搭建之前,需要确保以下条件已经满足: 1. **操作系统环境**: 所有的服务器节点均应安装Linux操作系统。 2. **Java Development Kit ...
<name>dfs.datanode.data.dir <value>/app/hadoop/data/dn ``` 五、格式化NameNode 首次安装Hadoop时,需要对NameNode进行格式化,创建HDFS的元数据。在Hadoop目录下运行`hdfs namenode -format`命令即可。 六...
Hadoop3.x系统文档深入地介绍了Hadoop 3.x版本的新特性和配置方法。Hadoop作为一个开源框架,允许使用简单的编程模型跨计算机集群存储和处理大数据。它被广泛用于数据仓库和大规模数据集的应用程序,特别是用于处理...
关键配置项包括`dfs.replication`(默认的文件复制因子),`dfs.namenode.name.dir`(名称节点的数据目录)和`dfs.datanode.data.dir`(数据节点的数据目录)。在单节点部署中,所有这些目录通常都会指向同一台机器...
5. **启动Hadoop服务**:依次启动DataNode、NameNode、ResourceManager等服务。 6. **验证集群**:使用`hadoop fs -ls`命令检查HDFS是否正常工作,或运行一个MapReduce示例验证计算功能。 7. **监控和维护**:安装...
`winutils.exe`通常位于Hadoop安装目录的`bin`子目录下,对于配置Hadoop环境和执行Hadoop命令至关重要。 在压缩包`winutils-master`中,我们可以推测这可能是一个包含`winutils.exe`源码的项目,或者是对Windows...
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...
**Hadoop 2.x 入门指南** Hadoop 2.x 是一个开源的分布式计算框架,它是Apache Hadoop项目的最新版本,旨在提供高效、可扩展的数据处理能力。这个版本引入了若干关键改进,使得Hadoop更适合大数据处理的需求,提高...
这个工具主要用于执行Hadoop相关的操作,如配置HDFS(Hadoop分布式文件系统)设置、管理HDFS上的文件和目录,以及初始化和管理Hadoop集群。在Windows上搭建Hadoop环境时,Winutils.exe是必不可少的,因为它能够帮助...
在下载的压缩包`hadoop2.6.3_windows_bin`中,除了`hadoop.dll` 和 `winutils.exe`,通常还包括其他Hadoop的Windows版本二进制文件和配置文件,如`hadoop-env.cmd`(环境变量设置脚本)、`core-site.xml`(核心配置...
Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论 2.1...
4. **启动Hadoop服务**:启动NameNode、DataNode、ResourceManager和NodeManager等服务。 5. **测试Hadoop**:可以通过运行简单的MapReduce示例来验证Hadoop集群是否正确配置和运行。 #### 五、初识MapReduce ...
8. **保留空间** (`dfs.datanode.du.reserved`): - 描述:定义 DataNode 上每个卷 HDFS 不可使用的空间大小,默认为 0。 - 推荐设置:10GB(10737418240 字节),具体取决于 MapReduce 场景需求。 - 示例:`dfs....
- 如果需要运行在Hadoop YARN上,还需要配置`yarn-site.xml`和`core-site.xml`等相关Hadoop配置文件。 - 启动Spark相关服务,如Master和Worker节点。 **4. 使用Spark Shell** Spark提供了一个交互式的Shell,可以...