Hadoop的配置类 Configuration

Hadoop的配置类是由资源指定的，资源可以由一个String或Path来指定：

• String：在classpath中寻找
• path: 直接从本地文件系统中查找

我们可以通过addResource()方法为Configuration添加资源。

值得注意的是，Hadoop在默认情况下在classpath中按次序指定读取以下两个文件：

• core-default.xml: Hadoop的只读属性
• core-site.xml: 某个给定hadoop的site-specific的配置。

配置参数可以指定为final，这样的话后续载入的资源就不能改变这个值，例如：

1	<property>

2	<name>dfs.client.buffer.dir</name>

3	<value>/tmp/hadoop/dfs/client</value>

4	<final>true</final>

5	</property>

一般来说，管理员会在core-site.xml中指定参数为final，这样客户端就不能再改变它。

 

关于变量扩展

首先要对字符串值进行变量扩展，可用的属性有：

• 在配置中定义的其它属性
• System.getProperties()中的属性。

例如，如果一个配置资源包含下面的属性定义：

1	<property>

2	<name>basedir</name>

3	<value>/user/${user.name}</value>

4	</property>

5

6	<property>

7	<name>tempdir</name>

8	<value>${basedir}/tmp</value>

9	</property>

当conf.get(“tempdir”)被调用时，${basedir}会解析为配置文件中的其它属性，而${user.name}则会从系统属性中读取。但是需要注意的是，尽管配置属性时可以用系统属性来定义，但是通过Configuration API 是不能直接读取这些系统属性的。