spark-学习笔记--14 master的主备切换

master的主备切换

 

主备切换：

 

1、基于文件系统

2、基于zookeeper

 

ActiveMaster 挂掉  

 --> standby master使用持久化引擎（FileSystemPersistenceEngine、ZookeeperPersistenceEngine）

                               读取：storedApps、storedDrivers、storedWorkers

 --> storedApps、storedDrivers、storedWorkers 有非空的

 --> 将使用持久化引擎读取的 storedApps、storedDrivers、storedWorkers信息注册到master内存结构

 --> 将application、worker状态改为未知 向Driver和worker发送standby master的地址

 --> Driver和worker返回消息 给standby master

 --> master对未接到 其响应的 Driver、worker进行处理--过滤掉

 --> 调用master自己的 Schedule()方法  对正在等待资源调度的Driver和Application进行调度

        比如某个worker上启动Driver或启动executor