`
dajuezhao
  • 浏览: 60858 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Map/Reduce中公平调度器配置

阅读更多

一、背景

一般来说,JOB的执行就是FIFO的过程(先进先出),这样的方式资源得不到充分的使用。所以配置了一下公平调度。

二、配置实现

1、环境:hadoop0.20.2

2、拷贝/jz/hadoop-0.20.2/contrib/fairscheduler/hadoop-0.20.2-fairscheduler.jar到hadoop的lib目录下,并复制到集群所有机器上。

3、修改mapred-site.xml,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
<name>mapred.job.tracker</name>
<value>m131:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx3072m</value>
</property>

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>

<property>
<name>mapred.jobtracker.taskScheduler</name>
<!--<value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>-->
<value>org.apache.hadoop.mapred.FairScheduler</value>
<description>The class responsible for scheduling the tasks.</description>
</property>

</configuration>

4、重启集群服务,然后访问http://192.168.3.131:50030/scheduler显示页面

三、总结

1、更多的配置内容可以参看/jz/hadoop-0.20.2/docs/fair_scheduler.html文档

2、值得注意,使用公平调度可以并发的执行任务,但是执行的时间会延长。

3、总的来说,如果需要多任务同时运行,可以使用公平调度。但是如果任务有先后顺序性,建议还是使用FIFO的模式。

分享到:
评论

相关推荐

    Hadoop公平调度器指南.pdf

    **公平调度器**(Fair Scheduler)是Hadoop中的一种插件式Map/Reduce调度器,它为大规模集群提供了一种有效的资源共享机制。其核心目标是确保随着时间的推移,所有作业都能平均分配到等量的共享资源。 #### 二、...

    hadoop公平调度算法解析

    公平调度器,作为Hadoop生态系统中的一种重要调度策略,旨在解决多用户共享集群环境下的资源分配问题,确保资源的合理与公平利用。相较于传统的先进先出(FIFO)调度方式,公平调度器在吞吐率上表现更优,尤其适用于...

    企业级IT架构分享 云计算架构师成长之路 Hadoop公平调度器指南 共8页.pdf

    公平调度器的核心理念在于将集群资源按照一定的规则划分到不同的资源池中,每个资源池再根据内部作业的需求以及配置的权重进行资源分配。具体来说: - **公平共享**:在每个资源池内,所有运行中的作业都将共享该...

    Map-Reduce体系架构

    - **调度机制**: Map-Reduce默认采用先入先出(FIFO)的作业队列调度机制,同时也支持公平调度器和容量调度器等其他调度策略。 - **任务执行优化**: - 推测式执行: 当JobTracker检测到某个任务进度缓慢时,会启动一...

    FlowS:一种MapReduce数据流公平调度方法

    ### FlowS:一种MapReduce数据流公平调度方法 #### 一、引言 随着大数据时代的到来,企业面临的非结构化数据处理需求日益增加。MapReduce框架因其高效处理大规模数据的能力而备受关注。Hadoop作为MapReduce的一种...

    Hadoop任务调度器

    一个TaskTracker可以有多个mapslot和reduceslot,具体数量由参数mapred.tasktracker.[map|reduce].tasks.maximum配置。这些slot资源被调度器用来分配给不同作业中的任务。 Hadoop的三级调度策略包括:队列、作业和...

    Hadoop集群作业的调度算法

    - **Fair Scheduler(公平调度器)**:确保所有作业都能获得一定的资源份额,即使有大量小作业同时提交也能保证较高的响应速度。 - **YARN(Yet Another Resource Negotiator)**:YARN是一个更先进的资源管理框架,...

    云计算环境下的服务调度和资源调度研究.pdf

    传统的分布式计算模型如Map/Reduce等调度方式与云计算中的调度方式存在差异,而且传统模型在处理大数据、资源管理和作业调度方面存在局限性,比如无法处理递归或复杂业务流程、资源占用和用户优先级考虑不足等问题。...

    MapReduce:Fair Scheduler前传

    同时也看到了公平调度器在设计过程中所依赖的技术和理论基础,以及它在实践中所取得的成效和相关研究机构的支持情况。这些知识点对于理解MapReduce作业调度机制以及如何优化多用户共享集群环境下的资源分配具有重要...

    23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

    在Hadoop集群中,YARN(Yet Another Resource Negotiator)作为资源管理器,负责调度MapReduce任务的内存和CPU资源。YARN支持基于内存和CPU的两种资源调度策略,以确保集群资源的有效利用。在非默认配置下,合理地...

    Hadoop平台中MapReduce调度算法研究.pdf

    这一过程中的调度算法起着至关重要的作用,它决定了任务如何在集群中分配,以及资源如何被有效地利用。 调度算法是MapReduce性能的关键因素,其目标通常包括最小化作业完成时间、优化资源利用率、确保公平性和容错...

    Hadoop中作业调度算法的研究与改进.pdf

    MapReduce模型通过将大规模数据处理任务分解为可并行执行的Map和Reduce任务,极大地提升了数据处理的效率。然而,作业调度算法作为Hadoop系统的核心组件之一,其性能直接影响到整个集群的资源利用率和任务完成速度。...

    mapreduce编程说明和程序流程

    - 资源管理器使用公平调度器或容量调度器等策略,确保资源公平分配或预留特定的集群容量给特定的队列。 3. **编写MapReduce程序**: - 程序员需要实现Map和Reduce接口,定义自定义的Mapper和Reducer类。 - ...

    大数据课程-Hadoop集群程序设计与开发-5.Yarn资源调度器_lk_edit.pptx

    【Yarn资源调度器】是Hadoop大数据处理框架的核心组件之一,主要负责集群资源的管理和分配,确保高效、公平地运行各种计算任务。本课程详细介绍了Yarn的基本架构、工作机制、调度器及调度算法,以及如何进行实际操作...

    Delay Tails in MapReduce Scheduling

    为了解决这一问题,我们设计并实现了Coupling Scheduler,该调度器根据Map任务的进度逐步启动Reduce任务。实验结果表明,与Fair Scheduler相比,作业响应时间提高了一个数量级。 基于广泛的测量和源代码调查,我们...

    基于MapReduce的分布式ETL调度优化方法.pdf

    通过合理调度和数据分割,可以使得一些计算密集型和I/O密集型的作业得到正确的分配,确保作业能够在多节点环境中公平且有效地执行。 总体而言,分布式ETL调度优化是一个涉及多个层面的问题,不仅需要考虑数据的类型...

    行业文档-设计装置-云平台MapReduce工作流调度优化方法.zip

    - 跨租户调度:在多租户环境中,需考虑不同租户间的公平性和隔离性,防止资源抢占。 4. 实际应用:许多云服务提供商,如Amazon EMR、Microsoft Azure HDInsight,已经实现了自定义的MapReduce调度优化,结合了上述...

Global site tag (gtag.js) - Google Analytics