spark-学习笔记--27 Task 源码

Task 源码

 

   org.apache.spark.executor.Executor.TaskRunner.run()

 

   task反序列化

   updateDependencies : 通过网络拉取依赖的文件、jar包,使用loader 加载获取的jar

 

   执行 org.apache.spark.scheduler.Task 的  run( ) 构建TaskContext

 

   执行 Task子类的  runTask(context)方法

   

.

 

   ShuffleMapTask：

 

   执行 rdd.iterator()-- 对分区执行我们定义的算子 ：

      writer.write(rdd.iterator(partition, context).asInstanceOf[Iterator[_ <: Product2[Any, Any]]])

 

   ShuffleWriter 将结果经过 hashparttion分区之后 写入对应分区的 bucket

 

   runTask 执行完返回  MapStatus  ，

        MapStatus： 记录task处理后的数据存储在哪里 其实就是BlockManager相关信息

   

 

 

 

   ResultTask： 

    

        反序列化

       执行我们定义的算子

   

   task执行 统计信息  --- 这些信息会反映到 sparkUI 的  4040

 

   taskScheduler  更新task状态---CoarseGrainedClusterMessages.StatusUpdate

 

   

   调用  org.apache.spark.scheduler.TaskSchedulerImpl#statusUpdate  根据状态更新