对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置
<property>
<name>dfs.datanode.du.reserved</name>
<value>10737418240</value>
</property>
dfs.datanode.du.reserved的单位为字节,上面的预留空间为10G,预留30G:32212254720
预留20G:21474836480
预留空间可能遇到的问题:预留了10G,但是该节点磁盘空间去没有真正剩余,而是一直会放数据,原因可能是如下方面:
通过 df -h 查看容量显示如下:
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 243G 200G 31G 87% /data
注:说明总容量为243G,使用了200G,可用31G 这里有个问题,使用量+可用量!=总容量,少掉了12G,这就是问题所在。
dfs.datanode.du.reserved设置为10G的话
通过hadoop dfsadmin -report 查看显示如下
Configured Capacity: 228260941824 (232.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (38.48 GB)
Configured Capacity显示的dfs.data.dir指定的目录空间总容量大小-dfs.datanode.du.reserved的容量,
如果像之前设置 dfs.datanode.du.reserved为10G的话,Configured Capacity为:232.58 GB,DFS Remaining则为38.48G,
但实际/dev/sda4 可用空间才只有31G,所以有数据的话会一直会存入该节点,直到放满。
解决方法:将dfs.datanode.du.reserved设置更大。目前设置为30G
这样,hadoop dfsadmin -report 查看
Configured Capacity: 228260941824 (212.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (18.48 GB)
dfs可用空间18.48<31G,所以当dfs全部用完,磁盘/dev/sda4还是有13G空间空闲,达到要的效果!
相关推荐
50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address,DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode...
Hadoop 是一个基于分布式存储的大数据处理框架,本文档将详细介绍 Hadoop 3.x 的配置和底层原理,从零搭建集群以及解决遇到的问题,通过图形化的方式更好地理解 Hadoop 的作用。 一、HDFS 组成 HDFS(Hadoop ...
4. **设置Hadoop配置文件**: - 编辑`core-site.xml`,设置HDFS的地址和端口。 - 编辑`hdfs-site.xml`,根据需要配置HDFS的副本数量和其他参数。 - 编辑`mapred-site.xml`,设置MapReduce框架的参数。 - 编辑`...
<name>dfs.datanode.data.dir <value>file:///app/hadoop/data/datanode ``` 3. 修改`etc/hadoop/yarn-site.xml`配置文件,配置YARN资源管理器: ```xml <name>yarn.resourcemanager.hostname <value>master ...
### Hadoop 2.x 安装与配置详解 #### 一、准备工作 在开始Hadoop 2.x集群的搭建之前,需要确保以下条件已经满足: 1. **操作系统环境**: 所有的服务器节点均应安装Linux操作系统。 2. **Java Development Kit ...
<name>dfs.datanode.data.dir <value>/app/hadoop/data/dn ``` 五、格式化NameNode 首次安装Hadoop时,需要对NameNode进行格式化,创建HDFS的元数据。在Hadoop目录下运行`hdfs namenode -format`命令即可。 六...
Hadoop3.x系统文档深入地介绍了Hadoop 3.x版本的新特性和配置方法。Hadoop作为一个开源框架,允许使用简单的编程模型跨计算机集群存储和处理大数据。它被广泛用于数据仓库和大规模数据集的应用程序,特别是用于处理...
关键配置项包括`dfs.replication`(默认的文件复制因子),`dfs.namenode.name.dir`(名称节点的数据目录)和`dfs.datanode.data.dir`(数据节点的数据目录)。在单节点部署中,所有这些目录通常都会指向同一台机器...
5. **启动Hadoop服务**:依次启动DataNode、NameNode、ResourceManager等服务。 6. **验证集群**:使用`hadoop fs -ls`命令检查HDFS是否正常工作,或运行一个MapReduce示例验证计算功能。 7. **监控和维护**:安装...
`winutils.exe`通常位于Hadoop安装目录的`bin`子目录下,对于配置Hadoop环境和执行Hadoop命令至关重要。 在压缩包`winutils-master`中,我们可以推测这可能是一个包含`winutils.exe`源码的项目,或者是对Windows...
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...
**Hadoop 2.x 入门指南** Hadoop 2.x 是一个开源的分布式计算框架,它是Apache Hadoop项目的最新版本,旨在提供高效、可扩展的数据处理能力。这个版本引入了若干关键改进,使得Hadoop更适合大数据处理的需求,提高...
在下载的压缩包`hadoop2.6.3_windows_bin`中,除了`hadoop.dll` 和 `winutils.exe`,通常还包括其他Hadoop的Windows版本二进制文件和配置文件,如`hadoop-env.cmd`(环境变量设置脚本)、`core-site.xml`(核心配置...
4. **启动Hadoop服务**:启动NameNode、DataNode、ResourceManager和NodeManager等服务。 5. **测试Hadoop**:可以通过运行简单的MapReduce示例来验证Hadoop集群是否正确配置和运行。 #### 五、初识MapReduce ...
8. **保留空间** (`dfs.datanode.du.reserved`): - 描述:定义 DataNode 上每个卷 HDFS 不可使用的空间大小,默认为 0。 - 推荐设置:10GB(10737418240 字节),具体取决于 MapReduce 场景需求。 - 示例:`dfs....
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计是处理和存储大量数据,...无论是对初学者还是专业人士,理解其架构、配置和使用方法都是至关重要的,而这个压缩包就是探索和学习Hadoop的起点。
- 解压Hadoop安装包,并对相应的配置文件进行必要的修改,例如编辑`/etc/profile`以使配置生效。 - 特别需要注意的是,在`/etc/profile`中添加环境变量的路径等信息后,需要执行`source /etc/profile`命令以使更改...
4. 配置Hadoop配置文件:如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,设定HDFS和YARN的相关参数。 5. 初始化HDFS:运行`hdfs namenode -format`命令对NameNode进行格式化。 6. 启动...
解决`hadoop.dll`和`winutils.exe`缺失的方法主要有以下几步: 1. 下载:你可以从Apache Hadoop的官方源码仓库或者一些社区提供的预编译版本中获取这两个文件。确保下载的版本与你的Hadoop版本兼容。 2. 配置环境...