/**
* master server
*/
@ComponentScan(value = "org.apache.dolphinscheduler", excludeFilters = {
@ComponentScan.Filter(type = FilterType.REGEX, pattern = {
"org.apache.dolphinscheduler.server.worker.*",
"org.apache.dolphinscheduler.server.monitor.*",
"org.apache.dolphinscheduler.server.log.*"
})
})
@EnableTransactionManagement
public class MasterServer implements IStoppable {
/**
* master server startup, not use web service
*
* @param args arguments
*/
public static void main(String[] args) {
Thread.currentThread().setName(Constants.THREAD_NAME_MASTER_SERVER);
new SpringApplicationBuilder(MasterServer.class).web(WebApplicationType.NONE).run(args);
}
/**
* run master server
*/
@PostConstruct
public void run() {
// init remoting server
NettyServerConfig serverConfig = new NettyServerConfig();
serverConfig.setListenPort(masterConfig.getListenPort());
this.nettyRemotingServer = new NettyRemotingServer(serverConfig);
this.nettyRemotingServer.registerProcessor(CommandType.TASK_EXECUTE_RESPONSE, new TaskResponseProcessor());
this.nettyRemotingServer.registerProcessor(CommandType.TASK_EXECUTE_ACK, new TaskAckProcessor());
this.nettyRemotingServer.registerProcessor(CommandType.TASK_KILL_RESPONSE, new TaskKillResponseProcessor());
this.nettyRemotingServer.start();
// self tolerant
this.zkMasterClient.start();
this.zkMasterClient.setStoppable(this);
// scheduler start
this.masterSchedulerService.start();
// start QuartzExecutors
// what system should do if exception
try {
logger.info("start Quartz server...");
QuartzExecutors.getInstance().start();
} catch (Exception e) {
try {
QuartzExecutors.getInstance().shutdown();
} catch (SchedulerException e1) {
logger.error("QuartzExecutors shutdown failed : " + e1.getMessage(), e1);
}
logger.error("start Quartz failed", e);
}
/**
* register hooks, which are called before the process exits
*/
Runtime.getRuntime().addShutdownHook(new Thread(() -> {
if (Stopper.isRunning()) {
close("shutdownHook");
}
}));
}
代码来自dolphinscheduler版本1.3.6
相关推荐
systemctl restart dolphinscheduler-master systemctl restart dolphinscheduler-worker ``` 4. **验证**: - 通过再次尝试连接Hive数据源,检查问题是否已经解决。 - 查看日志确认没有出现之前的错误信息。 ...
dolphinscheduler-master-server-hadoop102
DolphinScheduler是一款强大的分布式工作流调度系统,用于大数据处理任务的编排和管理。在这个配置过程中,我们将探讨如何将Dolphinscheduler与Hadoop、Spark、Hive、DataX、Python和Scala集成,以实现高效的数据...
- **conf目录**:存放配置文件,如`master.properties`(主节点配置)、`worker.properties`(工作节点配置)和`dolphinscheduler-env.sh`(环境变量设置)。 - **lib目录**:存储运行所需的jar包,包括核心库、...
5. **server**目录:DolphinScheduler服务器端程序。 6. **webapp**目录:前端Web应用,包括工作流设计器和监控界面。 安装步骤通常包括以下几个部分: 1. **环境准备**:确保Java环境已安装,并设置好环境变量。 ...
dolphinscheduler分布式部署,有3个worker节点,3个master节点 操作:分别停止215、216、217运行的工作流实例 如图: 点击停止按钮 3. 现象:215、216机器上的任务一直运行中,217机器上的任务kill状态 如图 4. ...
4. 启动:按照启动脚本顺序启动Master、Worker、ApiServer和WebUI服务。 5. 验证:访问WebUI界面,确认服务正常运行。 五、操作与使用 1. 登录系统:使用默认管理员账号登录WebUI。 2. 创建项目:创建业务项目,...
Apache DolphinScheduler是一个强大的工作流调度平台,专注于解决大数据处理任务中...无论是对于数据科学家、工程师还是运维人员,DolphinScheduler都提供了直观的界面和强大的功能,以支持高效的数据处理和分析工作。
MasterServer是DolphinScheduler的核心组件之一,主要负责任务的分发、监控和健康状态检查。MasterServer采用分布式无中心设计理念,服务启动时向ZooKeeper注册临时节点,并维持心跳。MasterServer基于Netty提供监听...
Apache DolphinScheduler 架构演进与 Roadmap Apache DolphinScheduler 是一个分布式、易扩展并带有强大的可视化界面的大数据工作流调度系统。自 2021 年 03 月 18 日正式成为 Apache 顶级项目以来,Dolphin...
在“apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-backend-bin.tar.gz”这个压缩包中,包含了DS分布式工作流的后台服务组件,这个稳定版本为1.2.0,是DolphinScheduler在Apache孵化器项目中的一个...
grafana上DolphinScheduler-Master使用的json文件
DolphinScheduler采用主从分布式架构,主节点(Master)负责任务调度,从节点(Worker)执行实际任务。这种设计使得系统具有高可用性和可扩展性,能够处理大规模的任务调度。 2. **图形化界面**: 提供Web UI界面...
需要注意的是,完整的DolphinScheduler部署还包括后端服务(如master、worker、server等)和数据库配置,这些在当前的压缩包中并未包含。 在实际使用过程中,开发人员和数据工程师可以利用DolphinScheduler构建高效...
关于DolphinScheduler Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将...
- `bin`目录:包含可执行脚本,用于启动、停止、管理和监控DolphinScheduler服务,如`start-all.sh`和`stop-all.sh`等。 - `conf`目录:存储各种配置文件,例如`dolphinscheduler-config.properties`是主配置文件...
1. **bin目录**:存放启动、停止、监控等脚本,用于操作DolphinScheduler服务。 2. **conf目录**:配置文件所在,包括master、worker、api等服务的配置文件,需要根据实际环境进行配置。 3. **lib目录**:包含...
Apache DolphinScheduler是一个强大的大数据调度框架,专为解决复杂的数据处理流程中的依赖关系设计。它提供了分布式、去中心化的任务调度方案,并且具有高度可扩展性和可视化的工作流任务配置。DAG(Directed ...
《DolphinScheduler调度系统详解》 DolphinScheduler,又称海豚调度,是一款开源的工作流调度系统,专为大数据处理而设计。它提供了一种图形化的用户界面,使得数据处理流程的构建、运维和监控变得更加直观和便捷。...
org.apache.dolphinscheduler.server.master.runner.task.CommonTaskProcessor:[125] - [WorkflowInstance-272][TaskInstance-0] - submit task error。 该问题由版本bug解决,可以升级至dolphinscheduler2022年11月...