spark-学习笔记--24 TaskScheduler

TaskScheduler

 

 

 

 

1、stage创建 taskSet  提交给--> taskScheduler --> 分配给 executor 执行

 

2、org.apache.spark.scheduler.TaskSchedulerImpl 的 submitTasks 是入口

 

3、每个taskSet 创建一个 TaskSetManager对象--负责taskSet的监视管理

 

4、taskSchedulerImpl 的  resourceOffer 执行任务分配算法 将各个task 分配到executor上去

 

    4.1  将可用的 executor 随机打乱--目的是为了负载均衡

4.2  提交的taskSet放入到调度池    执行调度分配算法时 会从调度池取出 排好序的taskSet

4.3  本地化级别：

                 PROCESS_LOCAL 进程本地化----- RDD的 partition 和task   进入一个executor内

                 NODE_LOCAL    节点本地化----- RDD的 partition 和task   不在一个executor内  在同一个woker节点上

                 NO_PREF       无本地化

                 RACK_LOCAL    机架本地化

                 ANY           任意

 

        

尝试以最优的 本地化级别 启动 taskset

 

 

 

 

5、分配 task到 executor上之后 执行 launchTask() 方法  

 

   将分配的task发送launchTask消息到对应的executor上去   由executor启动并执行task