试用hadoop jvm复用配置

 

Hadoop默认为每个task（map task 或者 reduce task） 启动一个jvm。

鉴于目前小文件过多的问题，设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。

 

测试Job信息：

map：4715个

reduce：20个

input：  34G

output:  25G

 

 

优化前：1464 s

优化后：1375 s

Job运行时间减少 6%

 

CPU使用率情况：

 

 

*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数，修改不需要重启tasktracker，可以在提交job的shell或者代码中设置。

 

-- heipark