spark-学习笔记--16 spark1.3 状态改变

spark1.3  状态改变

 

 

Driver：

状态是 错误、完成、被杀掉、失败    将其从 缓存中移除，  

向completedDriver中添加Driver， 

设置Driver的state、exception  ，

将Driver所在的worker移除driver

调用Schedule()方法

 

 

executor：

-->找到executor对应的 app

-->获取app的executors缓存中的executor信息

-->设置executor的当前状态

-->向Driver发送 executorUpdated消息

-->若 executor完成了

   --> 从app的缓存中移除executor

   --> 从executor的worker的缓存中移除 executor

   --> 若 executor的退出状态是非正常的

       --> 判断application的重试次数 是否达到了最大值

       --> 若没有达到最大值  则重新进行调度-- 调用 Schedule()

 

   --> 否则进行 removeApplication 操作---executor反复调度都是失败  就是为app失败了