`
taskctl2012
  • 浏览: 11535 次
  • 性别: Icon_minigender_1
  • 来自: 成都
文章分类
社区版块
存档分类
最新评论

ETL调度工具Taskctl—Web应用版【作业设计】

阅读更多

 

 

软件下载地址:去公众号 "Taskctl" 关键字回复 "领取" 即可获得永久授权并使用

认识 Taskctl-web

TASKCTL 遵循软件产品标准化的原则,以“专业、专注”为设计理念,结合ETL 调度领域自身的特点,构建了一套直观易 用的 ETL 控制容器调度设计、监控 维护、管理平台 taskctl-web-application。

功能架构

通过上图了解到,taskctl-web-application 是 TASKCTL 中客户端应用软件家族 的重要一员。有三大功能模块:
  • 平台管理(Admin):平台级配置信息管理。如网络节点管理,作业类型扩 展,工程管理,全局变量管理,调度元信息导入导出,用户及权限管理,消息接 口管理等。
  • 作业设计(Designer:作业调度元信息设计。如作业控制容器(定时器/作 业流)的管理,作业关系、属性编辑,变量管理,作业组织模块管理等。
  • 运行监控(Monitor:作业运行监控维护平台。对设计好的调度元信息进行 运行监控以及人工操作干预。对运行信息进行查询、统计、分析等。

系统特性

 

在 Windows 桌面客户端的基础上,TASKCTL 重新构建了一套基于 web 浏览 器的应用 taskctl-web-application。它具有如下特性:
  1. 功能完整:实现了桌面客户端 Admin,Designer,Monitor 所有的功能(包括高级分析功能)
  2. 部署简单:采用安装程序一键部署应用,不需要部署额外的 web 容器
  3. 体验简洁:重新优化图形操作体验,简化操作步骤
  4. 合理导向:重新组织了页面 UE,让每个操作自然流畅
  5. 性能卓越:200k 带宽、单核处理器即可实现 10 个用户同时应用
  6. 稳定可靠:直接与调度服务核心通讯,信息更直接可靠。

登录界面

平台部署的时候,已经确定了调度服务端信息。因此不必再像桌面客户端一样需要输入调度服务端地址。

 

如上图所示:输入正确的用户名、密码点击 “登录” 按钮,登录成功后,taskctl-web-application 将根据登录用户进行一系列的初始化操作,加载基本的运行信息。

主界面

成功登录后,即进入 taskctl-web-application 平台主界面。系统对各个组件进行了合理的初始化布局,如下图所示:

通过上图,我们可以直观的看到 Taskctl-web-application 具备了传统 web 应用软件的 “页头 banner “顶部导航”,以及主框架区域。

页面框架介绍

页头 Banner 与导航

提供了资源快速定位搜索框,消息提醒小红点以及当前登录用户信息。如下图所示:

消息提醒框

当 taskctl-web-application 检测到有最新未读的消息数目变化时,将在当前页面自动弹出系统消息提醒窗口。建议第一时间查看最新的消息详情
 

 

  • 单击消息框,自动跳转到 “我的消息” 页面
  • 若点击 “叉” 关闭消息提醒框后,系统将稍后再次提醒

作业设计 Designer

作业设计

在作业设计功能模块的首页,您可以看到资源视图,工程视图以及控制容器,切换到资源视图查看全部控制容器,切换到工程视图可以选择项目筛选其对应的控制容器。如下图所示:

 

资源视图

通过资源视图,可以快速的打开模块代码、树节点属性、流程变量等设计窗口。并直观的展示了工程到流程,流程到模块的树形结构。如下图所示:
 

资源视图拥有自身特有的工具栏,通过其工具栏按钮,可以方便地对资源树及其选中节点进行相关操作。

工程视图

工程视图与资源视图,唯一不同的是聚焦到某个选中的工程。

控制容器设计

TASKCTL 通过作业控制器来组织管理作业。作业控制器分为作业流和定时器。如果作业之间存在复杂的关系,如依赖、并行关系。请使用作业流来组织作业集。否则通过定时器来组织管理作业更方便。
 
小提示:通过定时器来调用子作业流实现作业调度自动化。
 
下面通过设计一个简单的作业流控制容器(以下简称 “作业流” )来了解下Designer 的操作和 TASKCTL 的一些功能特性。

 

设计案例描述

(一)作业程序清单

(二)依赖关系

(三)驱动方式

文件到达驱动。

新建作业流

通过在控制容器中点击 “创建作业流” ,跳转 “创建作业流”,如下图所示 (也可通过单击工程视图/资源视图下的“作业流”工具栏按钮 ,创建作业流)

 
  • 关注微信公众号 TASKCTL 回复:3200,了解更多 “主控流程” 的信息
  • 更改作业流名称为 myflow1” ,单击保存
  • 单击 “跳转到私有变量”

私有变量设计

私有变量可通过已创建 “作业流/定时器管理” 中的跳转私有变量,也可通过工程/资源视图中的作业流/定时器等工具栏按钮单击 跳转。

 
  • 创建如上图所示的私有变量
  • 单击工程变量,可以跳转工程变量设计
  • 关注微信公众号 TASKCTL 回复:3341,了解更多变量信息
工程下所有控制容器都可以引用工程变量。通过合理的变量设计,能够让调度更灵活,更易迁移。

图形方式设计

作业流由一个启动模块或者再嵌套多个子模块组成,作业的开发设计主要通过模块设计器进行,而模块设计器提供了图形方式设计与模块代码方式设计。图形方式对新手用户更加友好,模块代码设计方式能提高进阶用户的设计效率。

图形方式设计布局

提供了切换图形方式设计与模块代码设计、作业节点搜索框、容器设计工具栏,组件工具箱、作业节点资源树,以及作业属性面板。

  • 容器设计工具栏 -> 容器设计过程中常用的功能,如重新转载、编译、私有变量、容器签入/签出
  • 作业节点树 -> 提供快速拖拽变更作业节点之间的 “串并” 关系,关注微信公众号TASKCTL 回复:3390,了解更多作业(组)节点类型信息

拖拽添加作业节点

给作业流添加作业节点时,从工具箱直接向右边的流程图中拖拽相应类型的作业。(注:拖拽到节点上时,绿色箭头提示可放置的方向),如下图所示

编辑作业节点属性

由于作业的属性相对较多,为了方便我们熟悉作业属性的操作,TASKCTL 根据作业属性特征,按用途分为 “What --基本属性”How -- 控制属性”Where -- 目标主机属性”Misc -- 杂项属性” 等。另外某些属性还具有复合(继承 -inherit、缺省-default、自定义-self特征。

  • 在定义作业节点属性时,需要理解普通属性与复合属性的区别,关注微信公众号TASKCTL 回复:3504,了解更多 “复合属性” 信息
  • 分别定义’myflow’流程的各个作业节点。定义如下:

通过以上定义后,模块作业关系图与节点树如下图所示:

说明
  1. 作业串并关系图中关系通过线条表达,且图中不出现串并节点
  2. 节点树中包含串并节点,且作业的串并关系通过上级串并组节点决定

关系定义

设计案列描述中的关系定义

调整串行组(dsjob1 > oraproc1)与 dsjob2 形成并行关系,操作如下步骤:
  1. 拖拽 dsjob2 到 dsjob1 下方,弹出并行关系确认对话框
  2. 选择 oraproc1 为并行关系结束点

3.单击确定,完成关系定义如下图:

上述步骤也可通过作业资源树完成,作业节点资源树能辅助流程图,选中串并组作业节点,拖拽整组调整串并关系,如下图所示

模块代码方式设计

设计布局

在上述图形方式设计时,可以通过单击模块代码按钮进入代码编辑模式。

 
  • 控制台输出,可以通过拖拽改变高度,也可单击右方的箭头按钮改变内置高度
  • 代码编辑区,右键打开代码编辑区上下文菜单
注意
  1. 快捷命令有时无效时:
  2. 请先单击代码编辑区,让其获取焦点,再重试快捷命令

作业节点定义

串并关系定义

定时器设计

定时器的设计步骤与作业流类似。在创建好定时器后,进入其主模块视图设计窗口。

在定时器中通过parallel并行组,来实现不同运行频率作业的分组。点击分组框中的+号创建分组。

创建好分组后,需要事先对分组的运行频率进行设置。然后参考之前章节设计作业流的方式,设置各个作业的属性即可。

编译

在控制容器设计后,需先提交本地更改,才能执行远程编译。(注意: 在资源视图/工程视图中工具栏中单击编译, 都是编译最近一次提交,本地如有更改,请先提交。)

提交

查看本地是否有变动(本地可提交状态),如下图所示:​​​​​​​

编译

单击提交后,编译按钮变为可点击状态。单击编译按钮,进行服务远程编译并结果输出,如下图所示:

调试

当控制容器编译成功后,可以选中作业节点进行运行调试。

请注意:在 Designer 只能对单个作业进行调试,如果要实现对整个作业流进行从头到尾运行测试,请发布作业流到运行监控环境再执行启动操作。

发布

把编译成功的作业流发布到运行监控区,才能对作业流进行调度监控,如下图所示:

发布成功后,将形成历史归档,如下图所示:

小提示:通过历史归档,可以回退到之前发布的版本。

签入与签出

为了实现团队协同,Designer 采用签入签出机制来保障调度元数据的原子性。在需要操作的时候,软件会自动提示用户是否需要签出以获取编辑权限。

签出成功后,资源信息以绿色字体表示可以进行编辑操作。

当被其它用户签出后,资源信息以黄色字体表示不能进行编辑操作。

需要待其它用户签入后,当前用户才能获取编辑权限。请注意:如果在线平台被非法关闭(如浏览器崩溃),当前签出的资源将丢失编辑权限,系统将在 30 分钟后自动签入,届时才能再次签出。
软件下载地址:去公众号 "Taskctl" 关键字回复 "领取" 即可获得永久授权并使用

 

0
1
分享到:
评论

相关推荐

    ETL调度工具TASKCTL(免费版)

    **ETL调度工具TASKCTL详解** ETL,即Extract-Transform-Load的缩写,是数据处理领域中的关键环节,用于从不同的数据源抽取数据,进行清洗、转换,然后加载到目标系统中。而在大数据环境下,高效、稳定的ETL调度工具...

    10万级etl批量作业调度工具Taskctl之轻量级Web应用版.docx

    Taskctl是一款专为批量作业调度设计的轻量级Web应用,尤其适合中小企业进行IT自动化系统建设,例如数据系统的批量调度自动化、系统运维自动化以及企业数据资产监控等场景。这款工具适用于数据开发人员、大数据从业...

    国产自动化运维ETL批量调度平台 TASKCTL 8.0 安装包

    TASKCTL是ETL调度领域专业的调度产品,适用于各行业的企业级、项目级ETL调度平台建设。此版是在C/S桌面客户端的基础上,TASKCTL 重新构建了一套基于web浏览器的B/S版本; 其中 TASKCTL 基础版的设计核心是以开发...

    ETL工具 ,基于Kettle实现的Web版ETL工具

    本项目是基于Kettle实现的Web版ETL工具,旨在提供一种更直观、易用的方式来执行数据处理任务,尤其适合需要进行简单数据抓取的应用场景。 首先,我们来深入理解一下Kettle的工作原理。Kettle的核心组件包括 Spoon...

    taskctl1.0版本源码

    taskctl 1.0版本源码,可下载下来研究研究

    ETL Automation 工具简介.pptx

    ETL Automation 是由 Teradata 公司发布的 ETL 流程调度产品,使用 JAVA 程序开发,支持跨平台部署,安装、维护简单。

    粒子群算法在分布式ETL任务调度中的应用.pdf

    4. 算法的关键步骤和组成部分:离散型粒子群优化算法在分布式ETL任务调度中的应用主要包括ETL工作调度模型的抽象化、算法编码的设计、目标函数的选择等。通过理论分析和实验验证了该策略的有效性和效率。 5. 理论和...

    基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具.zip

    【标题】中的“基于Web版Kettle开发的一套分布式综合调度、管理、ETL开发的用户专业版BS架构工具”指的是使用Kettle(Pentaho Data Integration)进行ETL(提取、转换、加载)过程,并且是Web化的版本,便于在浏览器...

    一种改进的分布式ETL作业调度方法实现.pdf

    分布式系统是当前IT行业中的一个重要研究方向,尤其是在大数据和云计算技术快速发展的今天,...在实际的应用中,企业可以根据自身业务需求和数据特点,对这套作业调度方法进行适当的调整和优化,以达到最佳的应用效果。

    基于 Ajax的 ETL 工具分析与 web 实现

    本文介绍了如何使用Ajax技术设计和实现一个基于Web的ETL工具,重点在于提高用户体验和系统性能。通过集成Kettle的强大功能,该工具能够有效地处理复杂的ETL任务。此外,Ajax技术的应用显著提升了系统的交互性和响应...

    传统数据仓库ETL设计报告

    在物理层面,Web服务器部署了Web服务、元数据配置接口和服务,ETL配置信息库用于存储元数据,代理服务器上的ETL JOB生成服务生成ETL作业,而ETL服务器上则部署了调度控制服务和ETL工具如DataStage来执行作业。...

    etl工具箱 中文版

    "ETL工具箱 中文版"通常指的是提供一系列ETL功能的软件,旨在帮助用户更方便地执行这些任务,而且界面和文档为中文,更适合中国用户使用。 在数据仓库领域,ETL工具扮演着至关重要的角色。它们的主要功能包括: 1....

    数据仓库ETL工具箱 中文版

    8. **监控与调度**:阐述如何设置ETL作业的监控机制,以便及时发现和解决问题,以及如何使用调度工具(如Control-M、oozie等)自动化ETL流程。 9. **实战案例**:通过实际项目案例,展示ETL设计和实施的全过程,...

    基于MapReduce的分布式ETL调度优化方法.pdf

    总体而言,分布式ETL调度优化是一个涉及多个层面的问题,不仅需要考虑数据的类型和节点的计算能力,还需要综合考量作业大小及类型,并且要考虑到系统的吞吐率和响应时间。而MapReduce作为一种高效的并行处理模型,为...

    ETL开源工具Kettle培训

    Kettle是一款强大的开源ETL(Extract, Transform, Load)工具,源自Pentaho公司,具有元数据驱动的设计理念。它的命名来源于"Kettle E.T.T.L. Environment"的首字母缩写,象征着将各种数据汇聚一堂,再按照特定格式...

    ETL Automation使用手册

    该工具支持多种数据源、目标系统和数据格式,提供了灵活的数据转换和加载机制,能够满足不同行业和应用场景的需求。 安装 ETL Automation 安装 ETL Automation 需要按照以下步骤进行: 1. 在 Unix Server 上安装 ...

    ETL工具 Kettle用户手册中文版.zip

    **ETL工具 Kettle 用户手册中文版** Kettle(Pentaho Data Integration,简称Kettle)是一款强大的数据集成工具,广泛应用于数据抽取(Extract)、转换(Transform)和加载(Load,即ETL过程)。它提供了图形化的...

    北京灵蜂ETL工具(高端)BeeDI V10.0 技术白皮书2021版.pdf

    北京灵蜂ETL工具 高端系列 BeeDI V10.0 技术白皮书 2021版 涵盖 产品功能:数据转换、数据联邦、数据同步、大数据集成、Kafka消息流、Web交互、文件同步、工作流调度、Web集成、脚本调度、作业调度、远程调度、集群...

    SQL ETL管理工具

    ETL管理工具通常提供图形化界面,简化了上述步骤的配置和调度,同时也提供了监控和日志记录功能,以便追踪数据流动和处理状态。这些工具可能包括Talend、Informatica、Microsoft SQL Server Integration Services ...

Global site tag (gtag.js) - Google Analytics