name | value | Description |
dfs.default.chunk.view.size | 32768 | namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。 |
dfs.datanode.du.reserved | 1073741824 | 每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节 |
dfs.name.dir | /opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name |
NN所使用的元数据保存,一般建议在nfs上保留一份,作为1.0的HA方案使用,也可以在一台服务器的多块硬盘上使用 |
dfs.web.ugi | nobody,nobody | NN,JT等所使用的web tracker页面服务器所使用的用户和组 |
dfs.permissions | true | false | dfs权限是否打开,我一般设置false,通过开发工具培训别人界面操作避免误操作,设置为true有时候会遇到数据因为权限访问不了。 |
dfs.permissions.supergroup | supergroup | 设置hdfs超级权限的组,默认是supergroup,启动hadoop所使用的用户通常是superuser。 |
dfs.data.dir | /opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ... |
真正的datanode数据保存路径,可以写多块硬盘,逗号分隔 |
dfs.datanode.data.dir.perm | 755 | datanode所使用的本地文件夹的路径权限,默认755 |
dfs.replication | 3 | hdfs数据块的复制份数,默认3,理论上份数越多跑数速度越快,但是需要的存储空间也更多。有钱人可以调5或者6 |
dfs.replication.max | 512 | 有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数,通常没什么用,不用写配置文件里。 |
dfs.replication.min | 1 | 最小份数,作用同上。 |
dfs.block.size | 134217728 | 每个文件块的大小,我们用128M,默认是64M。这个计算需要128*1024^2,我碰上过有人直接写128000000,十分浪漫。 |
dfs.df.interval | 60000 | 磁盘用量统计自动刷新时间,单位是毫秒。 |
dfs.client.block.write.retries | 3 | 数据块写入的最多重试次数,在此次数之前不会捕获失败。 |
dfs.heartbeat.interval | 3 | DN的心跳检测时间间隔。秒 |
dfs.namenode.handler.count | 10 | NN启动后展开的线程数。 |
dfs.balance.bandwidthPerSec | 1048576 | 做balance时所使用的每秒最大带宽,使用字节作为单位,而不是bit |
dfs.hosts | /opt/hadoop/conf/hosts.allow | 一个主机名列表文件,这里的主机是允许连接NN的,必须写绝对路径,文件内容为空则认为全都可以。 |
dfs.hosts.exclude | /opt/hadoop/conf/hosts.deny | 基本原理同上,只不过这里放的是禁止访问NN的主机名称列表。这在从集群中摘除DN会比较有用。 |
dfs.max.objects | 0 | dfs最大并发对象数,HDFS中的文件,目录块都会被认为是一个对象。0表示不限制 |
dfs.replication.interval | 3 | NN计算复制块的内部间隔时间,通常不需写入配置文件。默认就好 |
dfs.support.append | true | false | 新的hadoop支持了文件的APPEND操作,这个就是控制是否允许文件APPEND的,但是默认是false,理由是追加还有bug。 |
dfs.datanode.failed.volumes.tolerated | 0 | 能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。 |
dfs.secondary.http.address | 0.0.0.0:50090 | SNN的tracker页面监听地址和端口 |
dfs.datanode.address | 0.0.0.0:50010 | DN的服务监听端口,端口为0的话会随机监听端口,通过心跳通知NN |
dfs.datanode.http.address | 0.0.0.0:50075 | DN的tracker页面监听地址和端口 |
dfs.datanode.ipc.address | 0.0.0.0:50020 | DN的IPC监听端口,写0的话监听在随机端口通过心跳传输给NN |
dfs.datanode.handler.count | 3 | DN启动的服务线程数 |
dfs.http.address | 0.0.0.0:50070 | NN的tracker页面监听地址和端口 |
dfs.https.enable | true | false | NN的tracker是否监听在HTTPS协议,默认false |
dfs.datanode.https.address | 0.0.0.0:50475 | DN的HTTPS的tracker页面监听地址和端口 |
dfs.https.address | 0.0.0.0:50470 | NN的HTTPS的tracker页面监听地址和端口 |
dfs.datanode.max.xcievers | 2048 | 相当于linux下的打开文件最大数量,文档中无此参数,当出现DataXceiver报错的时候,需要调大。默认256 |
相关推荐
hdfs-site.xml文件是Hadoop分布式文件系统(HDFS)的核心配置文件之一,它定义了HDFS的很多关键行为和属性。了解hdfs-site.xml的配置项对于调优Hadoop集群,满足特定需求是非常有帮助的。下面对hdfs-site.xml中的...
Hadoop 2.9.0版本的HDFS配置文件hdfs-site.xml定义了分布式文件系统的主要配置参数,下面详细说明这些属性的关键知识点。 1. hadoop.hdfs.configuration.version 这是一个配置属性,用于记录当前使用的Hadoop HDFS...
本文将重点介绍Hadoop HA高可用集群配置中的关键参数及其作用,特别是`hdfs-site.xml`文件中与HA相关的配置项。 #### 二、Hadoop HA概述 Hadoop HA(High Availability)是指通过在集群中部署多个NameNode实例来...
Hadoop分布式配置文件hdfs-site.xml,用于在搭建Hadoop分布式集群时,设置集群规划所用,集群中虚拟机都需要修改该配置文件,除此之外,还需要修改其他配置文件,包括core-site.xml、mapred-site.xml和yarn-site.xml...
4. **conf目录**:默认的配置文件存放在这里,如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml` 和 `yarn-site.xml`,这些配置文件用于定义Hadoop集群的行为。 5. **lib目录**:包含了Hadoop运行所需的第三...
在Hadoop的配置目录($HADOOP_HOME/etc/hadoop)下,有两个主要的配置文件:core-site.xml和hdfs-site.xml。核心配置core-site.xml主要设置临时目录和HDFS的访问方式,例如: ```xml <name>fs.defaultFS ...
在Hadoop的配置中,需要修改`core-site.xml`来定义HDFS的默认FS(文件系统),`hdfs-site.xml`来设置HDFS的相关参数,如副本数量和数据节点位置,以及`mapred-site.xml`来配置MapReduce的相关参数。此外,还需要确保...
在安装和配置Hadoop时,你需要修改conf目录下的配置文件,如core-site.xml(定义HDFS的基本属性)、hdfs-site.xml(设置HDFS的参数)、mapred-site.xml(设置MapReduce参数)和yarn-site.xml(配置YARN)。...
hadoop3.x配置文件
3. 配置Hadoop的配置文件,如`core-site.xml`(配置HDFS的基本属性)、`hdfs-site.xml`(配置HDFS的参数)、`yarn-site.xml`(配置YARN的参数)以及`mapred-site.xml`(配置MapReduce的参数)。 4. 初始化NameNode,...
4. 配置Hadoop的配置文件,如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, 和 `mapred-site.xml`。这些文件位于`etc/hadoop`目录下,你需要根据你的集群规模和需求来设定参数,例如副本数量、HDFS的名称节点...
Hadoop 2.9.0版本中的mapred-default.xml文件包含了MapReduce作业的配置属性,这些属性定义了MapReduce作业执行过程中的各种行为和参数。下面我们来详细介绍mapred-site.xml文件中的一些关键属性。 1. mapreduce....
Hadoop分布式配置文件mapred-site.xml,用于在搭建Hadoop分布式集群时,设置集群规划所用,集群中虚拟机都需要修改该配置文件,除此之外,还需要修改其他配置文件,包括core-site.xml、hdfs-site.xml和yarn-site.xml...
安装时需设置环境变量,配置Hadoop配置文件(如core-site.xml、hdfs-site.xml、yarn-site.xml等),并进行格式化NameNode,启动DataNode和ResourceManager等服务。 6. **Hadoop命令行工具**:包括`hadoop fs`命令,...
在搭建Hadoop高可用(High Availability, HA)集群时,`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性,如默认的文件系统路径、临时目录以及与ZooKeeper集成的相关设置等。本文...
安装Hadoop时,需要配置环境变量、Hadoop配置文件(如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml),以及集群的节点设置。同时,为了运行Hadoop,你需要一个Java运行环境(JRE)。 4. **集群...
安装过程中,你需要配置Hadoop的环境变量,如HADOOP_HOME、PATH,并根据你的集群规模调整Hadoop的配置文件(如hdfs-site.xml和yarn-site.xml)。 一旦Hadoop成功安装,你可以使用HDFS命令行工具进行文件操作,如`...
接下来,我们需要配置Hadoop的配置文件,如core-site.xml、hdfs-site.xml和yarn-site.xml,定义HDFS的存储路径、副本数量、YARN的内存分配等参数。 在HDFS方面,用户可以使用Hadoop的命令行工具(如hadoop fs -put...
安装过程中,首先需要解压"hadop-3.2.3.tar.gz",然后配置环境变量,设定Hadoop的安装目录,调整配置文件如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, `mapred-site.xml`等,以满足特定的集群需求。...
安装和运行Hadoop 3.2.4时,你需要解压此压缩包,配置`conf`目录下的配置文件,如`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`,然后根据官方文档的指导启动和管理Hadoop服务。为了测试Hadoop集群,你可以...