spark-学习笔记--15 master注册机制

master注册机制

 

 

 

 

1、worker注册

            1.1  worker启动之后向master注册

            1.2  master将状态为dead的worker过滤掉、将状态为unknown 的worker清理掉旧的worker信息 替换为新的worker信息

            1.3  master把worker加入内存缓存中

            1.4  master使用持久化引擎 将worker信息进行持久化

            1.5  调用 Schedule() 方法

 

 

2、Driver注册

 

           2.1  使用spark-submit 提交application时 会向 master注册driver

           2.2  master将Driver信息放入缓存

           2.3  加入等待调度队列

           2.4 使用持久化引擎将 Driver信息持久化

           2.5 调用Schedule()  进行调度

 

3、application的注册

    

          3.1  执行SparkContext初始化时  会将 application信息注册到 master

          3.2  master将 application 信息放入缓存

          3.3  将application加入等待调度的application队列

          3.4  持久化引擎持久化application信息

          3.5  调用Schedule()  进行调度