关于hadoop配置

最近在测试hadoop0.21版本,发现有些参数设置了木有生效,检查发现有些参数已经变了,但是配置文件中还使用旧的参数.

 

相关配置信息如下:

默认会自动加载:core-default.xml , hdfs-default.xml , mapred.default.xml三个文件 ,

通常通过core-sit.xml ,  hdfs-sit.xml , mapred-sit.xml 3个配置文件覆盖默认配置信息

 

core-sit.xml对应java类:org.apache.hadoop.fs.CommonConfigurationKeys

 

org.apache.hadoop.hdfs.protocol.FSConstants是文件系统的一些默认值:比如

DEFAULT_BLOCK_SIZE= 64 * 1024 * 1024;

 

hdfs-sit.xml对应java类org.apache.hadoop.hdfs.DFSConfigKeys , 譔类继承CommonConfigurationKeys类

 

mapred-sit.xml对应java类:org.apache.hadoop.mapreduce.MRJobConfig,

org.apache.hadoop.mapreduce.util.ConfigUtil用来加载mapred-default.xml与mapred-sit.xml内容,其中有很多不推荐使用的KEY也在这里声明了,使用的时候,注意,不要再使用不推荐的KEY,否则会导致设置不生效.

org.apache.hadoop.mapred.JobConf里面可查找到当前已经不推荐使用的一些关于job参数信息

 

以前通过mapred.child.java.opts来配置map和reduce使用的java内存

现在分开配置,分别是:

mapreduce.reduce.java.opts

mapreduce.map.java.opts