`

Hadoop关于最大map reducer数目

 
阅读更多

mapred-site.xml文件:

<property>

 <name>mapred.tasktracker.map.tasks.maximum</name>

  <value>2</value>

  <description>The maximumnumber of map tasks that will be run

  simultaneously by a task tracker.

  </description>

</property>

<property>

 <name>mapred.tasktracker.reduce.tasks.maximum</name>

  <value>2</value>

  <description>The maximumnumber of reduce tasks that will be run

  simultaneously by a task tracker.

  </description>

</property>

每个机子的配置可能不一样,所以可以根据具体配置来设置每个tasktracker的最大map 最大reduce数目。

查看http://localhost:50030/machines.jsp?type=active来检查数量

配置完成后,只需要重启配置发生改变的机子,结合公平调度器来使用,可以最大程度上提升性能

Note:有些人可能在集群上打包运行的时候来指定mapred.tasktracker.map.tasks.maximum来改变一个节点上

map数目,但是这个属性只能通过在mapred-site.xml设置,在客户端配置某些属性,将不会产生影响。

分享到:
评论

相关推荐

    行业分类-设备装置-一种于Hadoop平台中动态调整任务数目的方法及系统.zip

    描述中的信息与标题一致,再次强调了该技术是关于在Hadoop平台上动态调整任务数目,旨在优化分布式计算资源的利用率和系统性能。在大数据处理中,任务调度是非常关键的一环,它决定了数据处理的效率和系统的响应时间...

    hadoop streaming 表

    13. `-stream.num.map.output.key.fields`:指定Map任务输出记录中key所占的域数目。 14. `-stream.num.reduce.output.key.fields`:指定Reduce任务输出记录中key所占的域数目。 15. `-combiner &lt;javaClass&gt;`:...

    hadoop分析原件

    此外,Hadoop提供了丰富的API和工具,如Hadoop Mapper类、Reducer类,以及用于Shuffle和排序的组件,帮助开发者更便捷地进行MapReduce程序的开发。 ### 应用 MapReduce的应用广泛,不仅限于数据处理领域,还被应用...

    hive优化.docx

    * 在Map端进行聚合操作的条目数目:set hive.groupby.mapaggr.checkinterval=100000; * 决定Group By操作是否支持倾斜的数据:set hive.groupby.skewindata=true; 2. Join 数据倾斜 Join操作也容易导致数据倾斜...

    大数据面试100题.pdf

    同时,Kafka提供了多种配置选项,如acks参数,要求ISR(In-Sync Replicas)数量达到一定数目,确保消息被足够副本同步后再确认写入。 采集数据为什么选择kafka: Kafka以其高吞吐量、可扩展性强、持久性和可靠性等...

Global site tag (gtag.js) - Google Analytics