`

hdfs-default配置说明等

阅读更多

为方便查询故在此列出

Xml代码   收藏代码
  1. <? xml   version = "1.0" ?>   
  2. <? xml-stylesheet   type = "text/xsl"   href = "configuration.xsl" ?>   
  3.   
  4. <!-- Do not modify this file directly.  Instead, copy entries that you -->   
  5. <!-- wish to modify from this file into hdfs-site.xml and change them -->   
  6. <!-- there.  If hdfs-site.xml does not already exist, create it.      -->   
  7.   
  8. < configuration >   
  9.   
  10. < property >   
  11.   < name > dfs.namenode.logging.level </ name >   
  12.   < value > info </ value >   
  13.   < description > The logging level for dfs namenode. Other values are "dir"(trac  
  14. e namespace mutations), "block"(trace block under/over replications and block  
  15. creations/deletions), or "all".</ description >   
  16. </ property >   
  17.   
  18. < property >   
  19.   < name > dfs.secondary.http.address </ name >   
  20.   < value > 0.0.0.0:50090 </ value >   
  21.   < description >   
  22.     The secondary namenode http server address and port.  
  23.     If the port is 0 then the server will start on a free port.  
  24.   </ description >   
  25. </ property >   
  26.   
  27. < property >   
  28.   < name > dfs.datanode.address </ name >   
  29.   < value > 0.0.0.0:50010 </ value >   
  30.   < description >   
  31.     The address where the datanode server will listen to.  
  32.     If the port is 0 then the server will start on a free port.  
  33.   </ description >   
  34. </ property >   
  35.   
  36. < property >   
  37.   < name > dfs.datanode.http.address </ name >   
  38.   < value > 0.0.0.0:50075 </ value >   
  39.   < description >   
  40.     The datanode http server address and port.  
  41.     If the port is 0 then the server will start on a free port.  
  42.   </ description >   
  43. </ property >   
  44.   
  45. < property >   
  46.   < name > dfs.datanode.ipc.address </ name >   
  47.   < value > 0.0.0.0:50020 </ value >   
  48.   < description >   
  49.     The datanode ipc server address and port.  
  50.     If the port is 0 then the server will start on a free port.  
  51.   </ description >   
  52. </ property >   
  53.   
  54. < property >   
  55.   < name > dfs.datanode.handler.count </ name >   
  56.   < value > 3 </ value >   
  57.   < description > The number of server threads for the datanode. </ description >   
  58. </ property >   
  59.   
  60. < property >   
  61.   < name > dfs.http.address </ name >   
  62.   < value > 0.0.0.0:50070 </ value >   
  63.   < description >   
  64.     The address and the base port where the dfs namenode web ui will listen on.  
  65.     If the port is 0 then the server will start on a free port.  
  66.   </ description >   
  67. </ property >   
  68.   
  69. < property >   
  70.   < name > dfs.https.enable </ name >   
  71.   < value > false </ value >   
  72.   < description > Decide if HTTPS(SSL) is supported on HDFS  
  73.   </ description >   
  74. </ property >   
  75.   
  76. < property >   
  77.   < name > dfs.https.need.client.auth </ name >   
  78.   < value > false </ value >   
  79.   < description > Whether SSL client certificate authentication is required  
  80.   </ description >   
  81. </ property >   
  82.   
  83. < property >   
  84.   < name > dfs.https.server.keystore.resource </ name >   
  85.   < value > ssl-server.xml </ value >   
  86.   < description > Resource file from which ssl server keystore  
  87.   information will be extracted  
  88.   </ description >   
  89. </ property >   
  90.   
  91. < property >   
  92.   < name > dfs.https.client.keystore.resource </ name >   
  93.   < value > ssl-client.xml </ value >   
  94.   < description > Resource file from which ssl client keystore  
  95.   information will be extracted  
  96.   </ description >   
  97. </ property >   
  98.   
  99. < property >   
  100.   < name > dfs.datanode.https.address </ name >   
  101.   < value > 0.0.0.0:50475 </ value >   
  102. </ property >   
  103.   
  104. < property >   
  105.   < name > dfs.https.address </ name >   
  106.   < value > 0.0.0.0:50470 </ value >   
  107. </ property >   
  108.   
  109.  < property >   
  110.   < name > dfs.datanode.dns.interface </ name >   
  111.   < value > default </ value >   
  112.   < description > The name of the Network Interface from which a data node should   
  113.   report its IP address.  
  114.   </ description >   
  115.  </ property >   
  116.    
  117. < property >   
  118.   < name > dfs.datanode.dns.nameserver </ name >   
  119.   < value > default </ value >   
  120.   < description > The host name or IP address of the name server (DNS)  
  121.   which a DataNode should use to determine the host name used by the  
  122.   NameNode for communication and display purposes.  
  123.   </ description >   
  124.  </ property >   
  125.    
  126.    
  127.    
  128. < property >   
  129.   < name > dfs.replication.considerLoad </ name >   
  130.   < value > true </ value >   
  131.   < description > Decide if chooseTarget considers the target's load or not  
  132.   </ description >   
  133. </ property >   
  134. < property >   
  135.   < name > dfs.default.chunk.view.size </ name >   
  136.   < value > 32768 </ value >   
  137.   < description > The number of bytes to view for a file on the browser.  
  138.   </ description >   
  139. </ property >   
  140.   
  141. < property >   
  142.   < name > dfs.datanode.du.reserved </ name >   
  143.   < value > 0 </ value >   
  144.   < description > Reserved space in bytes per volume. Always leave this much space free for non dfs use.  
  145.   </ description >   
  146. </ property >   
  147.   
  148. < property >   
  149.   < name > dfs.name.dir </ name >   
  150.   < value > ${hadoop.tmp.dir}/dfs/name </ value >   
  151.   < description > Determines where on the local filesystem the DFS name node  
  152.       should store the name table(fsimage).  If this is a comma-delimited list  
  153.       of directories then the name table is replicated in all of the  
  154.       directories, for redundancy. </ description >   
  155. </ property >   
  156.   
  157. < property >   
  158.   < name > dfs.name.edits.dir </ name >   
  159.   < value > ${dfs.name.dir} </ value >   
  160.   < description > Determines where on the local filesystem the DFS name node  
  161.       should store the transaction (edits) file. If this is a comma-delimited list  
  162.       of directories then the transaction file is replicated in all of the   
  163.       directories, for redundancy. Default value is same as dfs.name.dir  
  164.   </ description >   
  165. </ property >   
  166. < property >   
  167.   < name > dfs.web.ugi </ name >   
  168.   < value > webuser,webgroup </ value >   
  169.   < description > The user account used by the web interface.  
  170.     Syntax: USERNAME,GROUP1,GROUP2, ...  
  171.   </ description >   
  172. </ property >   
  173.   
  174. < property >   
  175.   < name > dfs.permissions </ name >   
  176.   < value > true </ value >   
  177.   < description >   
  178.     If "true", enable permission checking in HDFS.  
  179.     If "false", permission checking is turned off,  
  180.     but all other behavior is unchanged.  
  181.     Switching from one parameter value to the other does not change the mode,  
  182.     owner or group of files or directories.  
  183.   </ description >   
  184. </ property >   
  185.   
  186. < property >   
  187.   < name > dfs.permissions.supergroup </ name >   
  188.   < value > supergroup </ value >   
  189.   < description > The name of the group of super-users. </ description >   
  190. </ property >   
  191.   
  192. < property >   
  193.   < name > dfs.data.dir </ name >   
  194.   < value > ${hadoop.tmp.dir}/dfs/data </ value >   
  195.   < description > Determines where on the local filesystem an DFS data node  
  196.   should store its blocks.  If this is a comma-delimited  
  197.   list of directories, then data will be stored in all named  
  198.   directories, typically on different devices.  
  199.   Directories that do not exist are ignored.  
  200.   </ description >   
  201. </ property >   
  202.   
  203. < property >   
  204.   < name > dfs.replication </ name >   
  205.   < value > 3 </ value >   
  206.   < description > Default block replication.   
  207.   The actual number of replications can be specified when the file is created.  
  208.   The default is used if replication is not specified in create time.  
  209.   </ description >   
  210. </ property >   
  211.   
  212. < property >   
  213.   < name > dfs.replication.max </ name >   
  214.   < value > 512 </ value >   
  215.   < description > Maximal block replication.   
  216.   </ description >   
  217. </ property >   
  218.   
  219. < property >   
  220.   < name > dfs.replication.min </ name >   
  221.   < value > 1 </ value >   
  222.   < description > Minimal block replication.   
  223.   </ description >   
  224. </ property >   
  225.   
  226. < property >   
  227.   < name > dfs.block.size </ name >   
  228.   < value > 67108864 </ value >   
  229.   < description > The default block size for new files. </ description >   
  230. </ property >   
  231.   
  232. < property >   
  233.   < name > dfs.df.interval </ name >   
  234.   < value > 60000 </ value >   
  235.   < description > Disk usage statistics refresh interval in msec. </ description >   
  236. </ property >   
  237.   
  238. < property >   
  239.   < name > dfs.client.block.write.retries </ name >   
  240.   < value > 3 </ value >   
  241.   < description > The number of retries for writing blocks to the data nodes,   
  242.   before we signal failure to the application.  
  243.   </ description >   
  244. </ property >   
  245.   
  246. < property >   
  247.   < name > dfs.blockreport.intervalMsec </ name >   
  248.   < value > 3600000 </ value >   
  249.   < description > Determines block reporting interval in milliseconds. </ description >   
  250. </ property >   
  251.   
  252. < property >   
  253.   < name > dfs.blockreport.initialDelay </ name >    < value > 0 </ value >   
  254.   < description > Delay for first block report in seconds. </ description >   
  255. </ property >   
  256.   
  257. < property >   
  258.   < name > dfs.heartbeat.interval </ name >   
  259.   < value > 3 </ value >   
  260.   < description > Determines datanode heartbeat interval in seconds. </ description >   
  261. </ property >   
  262.   
  263. < property >   
  264.   < name > dfs.namenode.handler.count </ name >   
  265.   < value > 10 </ value >   
  266.   < description > The number of server threads for the namenode. </ description >   
  267. </ property >   
  268.   
  269. < property >   
  270.   < name > dfs.safemode.threshold.pct </ name >   
  271.   < value > 0.999f </ value >   
  272.   < description >   
  273.     Specifies the percentage of blocks that should satisfy   
  274.     the minimal replication requirement defined by dfs.replication.min.  
  275.     Values less than or equal to 0 mean not to start in safe mode.  
  276.     Values greater than 1 will make safe mode permanent.  
  277.   </ description >   
  278. </ property >   
  279.   
  280. < property >   
  281.   < name > dfs.safemode.extension </ name >   
  282.   < value > 30000 </ value >   
  283.   < description >   
  284.     Determines extension of safe mode in milliseconds   
  285.     after the threshold level is reached.  
  286.   </ description >   
  287. </ property >   
  288.   
  289. < property >   
  290.   < name > dfs.balance.bandwidthPerSec </ name >   
  291.   < value > 1048576 </ value >   
  292.   < description >   
  293.         Specifies the maximum amount of bandwidth that each datanode  
  294.         can utilize for the balancing purpose in term of  
  295.         the number of bytes per second.  
  296.   </ description >   
  297. </ property >   
  298.   
  299. < property >   
  300.   < name > dfs.hosts </ name >   
  301.   < value > </ value >   
  302.   < description > Names a file that contains a list of hosts that are  
  303.   permitted to connect to the namenode. The full pathname of the file  
  304.   must be specified.  If the value is empty, all hosts are  
  305.   permitted.</ description >   
  306. </ property >   
  307.   
  308. < property >   
  309.   < name > dfs.hosts.exclude </ name >   
  310.   < value > </ value >   
  311.   < description > Names a file that contains a list of hosts that are  
  312.   not permitted to connect to the namenode.  The full pathname of the  
  313.   file must be specified.  If the value is empty, no hosts are  
  314.   excluded.</ description >   
  315. </ property >    
  316.   
  317. < property >   
  318.   < name > dfs.max.objects </ name >   
  319.   < value > 0 </ value >   
  320.   < description > The maximum number of files, directories and blocks  
  321.   dfs supports. A value of zero indicates no limit to the number  
  322.   of objects that dfs supports.  
  323.   </ description >   
  324. </ property >   
  325.   
  326. < property >   
  327.   < name > dfs.namenode.decommission.interval </ name >   
  328.   < value > 30 </ value >   
  329.   < description > Namenode periodicity in seconds to check if decommission is   
  330.   complete.</ description >   
  331. </ property >   
  332.   
  333. < property >   
  334.   < name > dfs.namenode.decommission.nodes.per.interval </ name >   
  335.   < value > 5 </ value >   
  336.   < description > The number of nodes namenode checks if decommission is complete  
  337.   in each dfs.namenode.decommission.interval.</ description >   
  338. </ property >   
  339.   
  340. < property >   
  341.   < name > dfs.replication.interval </ name >   
  342.   < value > 3 </ value >   
  343.   < description > The periodicity in seconds with which the namenode computes   
  344.   repliaction work for datanodes. </ description >   
  345. </ property >   
  346.   
  347. < property >   
  348.   < name > dfs.access.time.precision </ name >   
  349.   < value > 3600000 </ value >   
  350.   < description > The access time for HDFS file is precise upto this value.   
  351.                The default value is 1 hour. Setting a value of 0 disables  
  352.                access times for HDFS.  
  353.   </ description >   
  354. </ property >   
  355.   
  356. < property >   
  357.   < name > dfs.support.append </ name >   
  358.   < value > false </ value >   
  359.   < description > Does HDFS allow appends to files?  
  360.                This is currently set to false because there are bugs in the  
  361.                "append code" and is not supported in any prodction cluster.  
  362.   </ description >   
  363. </ property >   
  364.   
  365. </ configuration >   

 更多信息请查看 java进阶网 http://www.javady.com

分享到:
评论

相关推荐

    hadoop 2.9.0 hdfs-default.xml 属性集

    Hadoop 2.9.0版本的HDFS配置文件hdfs-site.xml定义了分布式文件系统的主要配置参数,下面详细说明这些属性的关键知识点。 1. hadoop.hdfs.configuration.version 这是一个配置属性,用于记录当前使用的Hadoop HDFS...

    hadoop配置文件参数详解1

    第一种方法是选择相应版本的 Hadoop,下载解压后,搜索 \*.xml,找到 core-default.xml、hdfs-default.xml 和 mapred-default.xml,这些文件就是默认配置,可以参考这些配置的说明和 key 设置 Hadoop 集群。...

    core-site配置文件说明

    `core-site.xml` 是Hadoop配置文件中的核心组件之一,它定义了Hadoop集群的基本设置,包括但不限于HDFS的访问地址、临时目录以及一些基本的I/O配置。通过正确配置这些参数,可以确保Hadoop集群的稳定运行和高效处理...

    Hadoop 三个配置文件的参数含义说明

    同时,需要注意的是,随着Hadoop版本的更新,某些默认配置和参数可能会有所变化,因此建议根据实际使用的Hadoop版本查阅相应的默认配置文件,如Apache官网提供的`core-default.xml`、`hdfs-default.xml`和`mapred-...

    hadoop配置属性

    - 方法一:下载与Hadoop版本相对应的Hadoop压缩包,解压后通过搜索*.xml文件,可以找到core-default.xml、hdfs-default.xml和mapred-default.xml,这些文件中包含了默认的配置属性及说明,可以作为设置Hadoop集群时...

    Hadoop2.7.7

    在这些文件中设置HDFS的相关参数,例如`fs.defaultFS`用于指定HDFS的默认名称节点地址,通常设置为`hdfs://localhost:9000`。 4. 配置`mapred-site.xml`以启用MapReduce作业历史服务器。 5. 初始化HDFS。使用`hadoop...

    YARN相关配置总结

    - **配置说明**: - **Configuration Files**:根据需要调整`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml` 和 `mapred-site.xml`中的参数。 - **Environment Configuration**:通过`hadoop-env.sh`和`yarn-...

    Java访问Hadoop分布式文件系统HDFS的配置说明

    其他配置如`dfs.namenode.servicerpc-address`、`dfs.https.address`等涉及HDFS的服务地址和端口,而`dfs.client.use.datanode.hostname`则控制是否使用数据节点的主机名进行通信。 为了使用Java API访问HDFS,你还...

    hadoop配置文件编辑

    本文将对 Hadoop 的配置文件进行详细的解释,并对每个配置文件中的关键参数进行详细的说明。 一、core-site.xml core-site.xml 是 Hadoop 集群的核心配置文件,用于配置 Hadoop 的基本参数。这里面有七个关键参数...

    hadoop安装部署说明文档

    在`etc/hadoop/core-site.xml`中配置默认文件系统为HDFS,`etc/hadoop/hdfs-site.xml`中配置副本数量等参数。 5. **格式化NameNode**:首次安装时需执行`hdfs namenode -format`。 6. **启动Hadoop**:依次启动...

    hadoop配置.zip

    以下是对配置过程的详细说明: 一、Hadoop HA概述 Hadoop HA主要通过在两个不同的节点上设置NameNode的热备来实现。这两个节点被称为活动NameNode(Active NN)和备用NameNode(Standby NN)。当活动NameNode出现...

    5_平台搭建文档.pdf

    - 配置core-site.xml:设置HDFS的默认文件系统(fs.defaultFS)和临时目录(hadoop.tmp.dir)。 - 配置hdfs-site.xml:设置数据副本数(dfs.replication)和NameNode的HTTP访问地址。 - 配置mapred-site.xml:...

    大数据运维技术第4章 Hadoop文件参数配置课件.pptx

    - **hdfs-site.xml**:此文件专门针对HDFS(Hadoop Distributed File System)进行配置,包括命名节点(NameNode)和数据节点(DataNode)的位置,文件副本数量,以及文件访问权限等。 - **mapred-site.xml**:...

    Vmware的Centos7中的Spark虚拟机配置

    - 配置`core-site.xml`,指定`fs.default.name`为HDFS的名称节点地址,`hadoop.tmp.dir`为临时目录。 - 配置`hdfs-site.xml`,例如设置`dfs.replication`为副本数量。 - 格式化HDFS:`hdfs namenode -format`。 ...

    Hadoop-2.8.5全面资料

    - **hdfs-site.xml**:配置HDFS的具体参数,如副本数量、数据块大小等。 - **mapred-site.xml**:配置MapReduce相关的参数,如JobTracker的地址等。 - **yarn-site.xml**:配置YARN的具体参数,如ResourceManager...

    hadoop 集群搭建说明书.rar

    - 在`core-site.xml`中,设置`fs.defaultFS`为HDFS的命名节点地址,通常为Master节点的IP。 - 在`hdfs-site.xml`中,配置副本因子(replication factor)和DFS相关参数,如`dfs.namenode.name.dir`和`dfs.datanode...

    在VWmare的CentO S系统中配置hadoop

    - 编辑`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`等配置文件,根据实际需求设置相应的属性值。 - 特别注意`core-site.xml`中的`fs.defaultFS`应该设置为`hdfs://localhost:9000`...

    Hadoop-2.6.0分布式部署参考手册

    - **core-site.xml**:用于配置HDFS的基本信息,如NameNode的地址等。 - **hdfs-site.xml**:特定于HDFS的服务配置。 - **mapred-site.xml**:MapReduce框架的核心配置文件。 - **yarn-site.xml**:YARN资源管理器的...

    CSDN TUP第四期雅虎讲师PPT(.pdf)

    1. **默认配置**:包含`core-default.xml`、`hdfs-default.xml` 和 `mapred-default.xml` 文件,这些文件提供了Hadoop的基本配置项。 2. **站点特定配置**:包括 `core-site.xml`、`hdfs-site.xml` 和 `mapred-site....

Global site tag (gtag.js) - Google Analytics