Map/Reduce使用杂记

一、硬件环境

1、CPU：Intel(R) Core(TM)2 Duo CPU E4500 @ 2.20GHz

2、内存：2G

3、硬盘：500G

4、网卡：百兆电卡

5、网络：局域网络

6、集群数量：10台机器，1个master，10个slaves（master也做slave了！呵呵）

二、关于同时运行的map和reduce数量。

1、同时运行的数量通过mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum设置。

2、默认的设置都是2，也就是说Avg. Tasks/Node=4

3、关于数量，并非越大越好。通过测试发现，一个合适的值在2-4之间，也就是说Avg. Tasks/Node的值在4-8.当然这个和机器的性能有关系。

4、就我当前的环境，通过测试发现，map和reduce的数量都设置成2速度最快。

三、reduce的数量问题

1、reduce的数量默认是1，mapred.reduce.tasks，配置文件中的描述如下：

The default number of reduce tasks per job. Typically set to 99%
of the cluster's reduce capacity, so that if a node fails the reduces can
still be executed in a single wave.
Ignored when mapred.job.tracker is "local".

2、但是在实际的环境中，reduce的数量还是尽量多一点好，数额建议基本等于集群机器的数量。

3、reduce的数量直接决定输出的结果文件，所以在查看结果的时候可以将结果文件归并查看，命令如下：

hadoop fs -getmerge /jz /root/

4、参数mapred.jobtracker.taskScheduler.maxRunningTasksPerJob，用来控制一个job最大并行tasks数，这个是指在集群最大并行数