hadoop配置纪要

1.回收站设置，以防勿操作

conf/core-site.xml

<property>
        <name>fs.trash.interval</name>
        <value>1440</value>
</property>

 

默认是0.单位分钟。这里我设置的是1天（60*24）
删除数据rm后，会将数据move到当前文件夹下的.Trash目录

2. hdfs.site.xml

<property>
        <name>dfs.hosts</name>
        <value>/usr/local/hadoop-0.20.2/conf/include</value>
        <final>true</final>
</property>

<property>
        <name>dfs.hosts.exclude</name>
        <value>/usr/local/hadoop-0.20.2/conf/exclude</value>
        <final>true</final>
</property>

配置许可/拒绝DataNode列表。

dfs.hosts  许可

dfs.hosts.exclude 拒绝

 

3.处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000

4. Namenode in safe mode
执行：bin/hadoop dfsadmin -safemode leave

5.java.net.NoRouteToHostException: No route to host
解决方法：
sudo /etc/init.d/iptables stop