Hadoop集群优化手记

<property>
	<name>mapred.min.split.size</name>
	<value>268435456</value>
        <description>决定了每个 Input Split的最小值，也间接决定了一个Job的map 数目。
                          这里设置为256M，默认64M，有效减少了map的数量，因为在大数据量时，
                          map数量过大并不一定速度就快，而1个进程处理256M数据也是很快的</description>
</property>
<property>
	<name>mapred.compress.map.output</name>
	<value>true</value>
        <description>打开map输出压缩以节省各节点传输的流量</description>
</property>
<property>
	<name>io.sort.mb</name>
	<value>250</value>
        <description>map输出结果在内存占用buffer的大小，当buffer达到一定阈值，
                          会启动一个后台线程来对buffer的内容进行排序，然后写入本地磁盘(一个spill文件).默认100M，
                          有点小了，但并不是越大越好，尝试过调到400M，发现机器内存有点吃不消，又回调到250M</description>
</property>
<property>
	<name>mapred.reduce.parallel.copies</name>
	<value>10</value>
        <description>Reduce copy数据的线程数量，默认值是5</description>
</property>
<property>
	<name>mapred.job.shuffle.merge.percent</name>
	<value>0.8</value>
        <description>从Map节点取数据过来，放到内存，当达到这个阈值之后，
                          后台启动线程（通常是Linux native process）把内存中的数据merge sort，
                          写到reduce节点的本地磁盘；</description>
</property>

http://www.duyifan.com/?cat=1