Apache DolphinScheduler
分布式易扩展的可视化DAG工作流任务调度系统
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
DolphinScheduler提供了许多易于使用的功能,可加快数据ETL工作开发流程的效率。其主要特点如下:
一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
。 其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对
Master/Worker
cpu load,memory,cpu在线查看 - 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
Design Features
DolphinScheduler is a distributed and extensible workflow scheduler platform with powerful DAG visual interfaces, dedicated to solving complex job dependencies in the data pipeline and providing various types of jobs available out of the box
.
Its main objectives are as follows:
- Associate the tasks according to the dependencies of the tasks in a DAG graph, which can visualize the running state of the task in real-time.
- Support various task types: Shell, MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Sub_Process, Procedure, etc.
- Support scheduling of workflows and dependencies, manual scheduling to pause/stop/recover task, support failure task retry/alarm, recover specified nodes from failure, kill task, etc.
- Support the priority of workflows & tasks, task failover, and task timeout alarm or failure.
- Support workflow global parameters and node customized parameter settings.
- Support online upload/download/management of resource files, etc. Support online file creation and editing.
- Support task log online viewing and scrolling and downloading, etc.
- Have implemented cluster HA, decentralize Master cluster and Worker cluster through Zookeeper.
- Support the viewing of Master/Worker CPU load, memory, and CPU usage metrics.
- Support displaying workflow history in tree/Gantt chart, as well as statistical analysis on the task status & process status in each workflow.
- Support back-filling data.
- Support multi-tenant.
- Support internationalization.
相关推荐
apache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar....
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决...
DolphinScheduler 介绍 DolphinScheduler 应用案例 1.3.3 新版本发布 近期 Roadmap 参与开源
Apache DolphinScheduler是一款强大的分布式工作流任务调度系统,主要用于大数据处理领域的任务编排和调度。它提供了Web图形化界面,使得用户可以方便地设计、监控和管理复杂的数据处理流程。在这个场景中,我们有两...
Apache DolphinScheduler是一款强大的分布式工作流管理系统,用于大数据任务的工作流编排和调度。它提供了图形化的工作流设计界面,使得用户可以方便地构建复杂的任务流程。在这个“apache-dolphinscheduler-3.1.4-...
Apache DolphinScheduler 架构演进与 Roadmap Apache DolphinScheduler 是一个分布式、易扩展并带有强大的可视化界面的大数据工作流调度系统。自 2021 年 03 月 18 日正式成为 Apache 顶级项目以来,Dolphin...
apache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar....
Apache DolphinScheduler(apache-dolphinscheduler-2.0.5-src.tar.gz 源码)是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。Dolphin...
《Apache DolphinScheduler 3.0.0:高效工作流调度系统详解》 Apache DolphinScheduler(以下简称DolphinScheduler)是一款开源的工作流调度系统,旨在解决大数据处理中的任务编排问题,提供可视化的作业流程设计、...
Apache DolphinScheduler,通常被称为DolphinScheduler,是一个分布式工作流调度系统,主要设计用于大数据处理领域的任务编排和流程管理。这个压缩包“apache-dolphinscheduler-1.3.2-dolphinscheduler-bin.tar.gz”...
Apache DolphinScheduler(apache-dolphinscheduler-3.0.0-beta-1-src.tar.gz 源码)是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。...
Apache DolphinScheduler(apache-dolphinscheduler-3.0.0-beta-1-bin.tar.gz)是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。...
Apache DolphinScheduler是一款强大的分布式工作流调度系统,专为大数据处理任务设计。它的主要目标是解决大数据处理中的工作流编排、任务调度以及监控等问题。在2.0.1版本中,DolphinScheduler提供了更丰富的功能和...
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来,可...
Apache DolphinScheduler(apache-dolphinscheduler-2.0.5-bin.tar.gz)是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系,不能直观监控任务健康状态等问题。Dolphin...
新一代开源大数据任务调度 Apache DolphinScheduler 如何高效支撑企业大数据核心业务
Dolphinscheduler是一款开源的工作流调度系统,专为大数据处理任务设计,提供了强大的工作流设计、任务调度和监控能力。而Helm则是Kubernetes生态中的软件包管理工具,用于简化Kubernetes应用的部署和管理。在这个...
Apache DolphinScheduler,通常被称为DS,是一个分布式工作流调度系统,旨在提供可视化的作业编排、监控和报警功能,尤其适用于大数据处理场景。标题中的"apache-dolphinscheduler-incubating-1.2.0-dolphin...
mv /opt/apache-dolphinscheduler-3.1.7/api-server/lib/hive-common-2.3.9.jar /opt/apache-dolphinscheduler-3.1.7/api-server/lib/hive-common-2.3.9.jar.bak mv /opt/apache-dolphinscheduler-3.1.7/api-...