`
taskctl2012
  • 浏览: 11549 次
  • 性别: Icon_minigender_1
  • 来自: 成都
文章分类
社区版块
存档分类
最新评论

etl作业部署与调度—taskctl管理概述

阅读更多

 

 本文主要内容:

  • TASKCTL是什么;
  • TASKCTL可以做什么;
  • 组件&架构;
  • 100+个主要功能点;
  • 八大技术应用特征;
  • 三大产品优势
  • TASKCTL是什么?

TASKCTL是一款功能全面的作业自动化调度技术管理工具。所谓作业,是指部署在网络中不同计算机上的各种程序或系统命令。通过TASKCTL,可以快速将这些作业组织起来,并进行有效的管理以及各种参数化运行控制。在业界,普遍将这种技术称为作业调度,其技术本质是作业运行管理的自动化控制。

TASKCTL可以做什么?

可以成为您IT工作中的一款常伴工具。TASKCTL作为一款作业自动化调度控制工具,可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度,是TASKCTL最典型的应用之一。

典型应用场景-大数据领域批量作业调度应用

大数据时代的今天,大量系统的建设与应用都离不开作业自动化调度技术的支撑。通过这种技术,使我们可以有效管控大量数据的批量进出、存放、加工、转换等一些列复杂的调度处理过程。

更多的IT作业调度自动化应用场景。

系统部署自动化

通过TASKCTL作业自动化无代理调度技术,可以快速实现成百上千台机器的多种应用部署。

自助式运维自动化

在IT运维过程当中,各种复杂的需求与应用场景,会催生大量碎片化的基于作业自动化的运维管理流程需求。TASKCTL是一款简单灵活的作业自动化工具,以自助方式,可以快速应对这些碎片化的运维流程需求。

更多自动化特色应用

实际上,作业流程自动化,是IT的常态技术。比如测试、机器巡检等,其技术核心,都离不开作业的自动化。深入理解TASKCTL的技术本质、合理利用TASKCTL这一款技术工具,你会发现,它可以轻松应用于你大量IT自动化处理当中,使TASKCTL成为你工作中的一款常伴工具。

组件&架构

(一) 总体架构

  1. 整个体系采用客户端、服务端CS模式。
  2. 服务端通过代理模式、无代理模式,使调度服务器可以远程调度控制更多的业务主机
  3. 调度服务器采用主备单活模式,实现服务高可靠
  4. 服务端代理采用主从模式,实现业务主机集群控制。
  5. 客户端应用体系分桌面客户端、BS模式应用端、以及微信应用端(暂不提供)
  6.  BS模式只提供监控应用服务
  7. 微信模式只提供消息通知与消息相关的信息联动服务

(二) 具体典型应用架构以及适应场景

1. 广泛使用的经典最简架构

如果是一台机器的调度需求,请采用最简架构部署。实际上,这种部署适应大部分调度应用需求。对于用户来说,掌握了最简部署,就可快速实现其它更多、更复杂的调度部署。

2. 多项目多代理应用架构

如果你需要同时协同批量调度多台不同业务服务器,请采用多代理应用架构部署。

3. 业务主机集群应用架构

如果您的业务应用服务器,是集群模式,请采用集群架构部署。(目前不支持互联网集群分片调度机制)

 

4. 无代理远程控制架构

实际上,无代理远程架构与最简部署架构一致。只需在一台机器上部署TASKCTL, 即可控制网络中更多的机器。

TASKCTL的100+个功能要点

支撑您各种调度及管理需求。以下通过核心功能、应用功能、扩展功能三个维度,分别为你列举各种功能。

(一) 核心功能

所谓核心功能,主要指TASKCTL可以调度哪些类型的作业,可以实现什么样的自动化控制调度,并以什么样的方式控制庞大的网络远程调度。

(二) 应用功能

应用功能主要指我们通过界面怎么管理TASKCTL调度平台、怎么设计作业流程信息、怎么监控查询统计分析调度状况等。

平台管理

平台管理功能主要包括:

  • 平台代理主机维护管理;
  • 作业类型维护管理;
  • 用户(组)权限维护管理;
  • 调度节点并发度维护管理;
  • 作业&流程定义信息导入导出等。

作业流程调度设计

独立的IDE开发设计环境程序Designer,可以让你快速友好地设计流程信息。

主要功能包括:

  • 作业流程资源树管理;
  • 图形拖拽方式设计;
  • 代码文本方式设计;
  • 图文联动设计;
  • 联机\脱机设计;
  • 设计信息实时自动检查;
  • 设计信息编译深度检查;
  • 信息全局搜索&替换

运维监控管理

运维监控管理主要通过组件monitor实现

cs版主界面

bs版主界面

(三) 扩展功能

扩展功能主要包括:

(1)作业类型插件扩展

通过统一作业类型扩展机制,用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

(2)应用API扩展

TASKCTL提供一套完整基于JAVA的二次开发接口,可以实现企业个性化的调度监控管理应用平台。

八大技术应用特征

创新不是目的,而是为了更好的应用

1.精简的技术体系

TASKCTL服务核心是业界唯一不采用数据库、任何第三方中间件构建的调度技术平台。

目前,整个业界的调度系统设计,主要是基于数据库、通信等各种第三方中间件基础上构建各自的调度技术平台。唯有TASKCTL无论是数据存储访问、网络通信,还是数据队列、数据一致性等底层技术,都采用独立自主的技术。这种方式在构建之初,为系统设计带来成倍的难度,但一旦建设完成,这种完全独立自主的体系,为系统各方面的高度融合,变得更轻松、更快捷。

2.高效的计算引擎

高效的计算引擎,无需特别的硬件资源要求。

由于TASKCTL采用全独立自主的技术体系,使计算机制与算法的全面优化变为可能。其主要采用独特消息机制全方位的内存计算以及组件化的计算引擎,使TASKCTL调度吞吐效率与业界相比,拥有数量级的绝对优势。

3.准语言级的控制设计

准语言级的控制表达方式,不仅使调度控制表达信息更简洁、更易懂;同时,在面对各种更为复杂的自动化控制需求时,TASKCTL变得更具有灵活性。

在传统记录化特征的基础上,将控制逻辑信息规则一定语法化,设计一套相应的语法规则,并吸取了大量语言的表达特征,以XML语言为载体并以文本代码方式进行表达。这种具有一定语言思想的表达方法,使你的设计更快捷、更简洁,也更灵活。

4. 完整的设计环境

TASKCTL-Designer客户端组件是调度业界唯一趋于完整的设计环境,使您整个调度设计过程,变得更轻松、更愉悦、更高效!

结合自己语言特征、表达特征、编辑特征,独立设计了一套与之匹配的完整的IDE环境-Designer组件,彻底摆脱了记录式表达的单一特征,使整个信息管理、表达与设计,更形象、更立体、更流畅、也更高效。

5.全方位的消息通知平台

消息通知,才是监控最直接、最便捷的手段。

目前,TASKCTL按异常、警告、预警以及提醒进行分类,为用户提供20+种实时通知消息。

6.灵活的插件扩展

插件扩展,让TASKCTL用户,不用担心作业类型的变化与发展

用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

7.无代理远程调度

一机简单部署,全网轻松受控。

相对于代理模式来讲,无代理由于无需在受控目标机器部署相应的软件,即可调度控制相应的作业程序。这种变化,让调度控制空间格局,得到彻底的延展变化,极大拓展了调度的应用场景。这种场景,特别适合运维管理自动化。

无代理技术,使TASKCTL实现了”一机简单部署,全网轻松受控”。

8.系统级的权限管理机制

TASKCTL提供了一套类似操作系统般的权限管理机制,通过用户、用户组的思想,为每个流程对象赋予读、写、执行三种权限。这种思想,即简单,又熟悉,还可灵活实现各种角色的权限管理。

三大主要优势

(一) 坚定不移的产品理念

聚焦的方向、坚定的信念、持续的付出,决定未来一切

TASKCTL是由一群坚定的作业自动化调度技术爱好者开创,发展,并创办公司经营。作业自动化技术应用是公司唯一的业务,TASKCTL是公司唯一的核心产品,举全公司之力,长期发展TASKCTL,是公司不变的策略。

(二) 快速的产品升级迭代

产品没有最好,只有更好。只有不断发展的产品,才具有更强的生命力。

公司专业、专注的产品战略,是产品不断迭代发展完善的重要保证。为了保证产品的快速迭代,公司不断加强互联网经营策略,以便建立产品的快速用户反馈机制,以及快速发布渠道。

目前,TASKCTL拥有业界作业调度最大的技术交流群体,并通过互联网、公司热线与我们核心技术服务支持团队,长期保持实时互动,共同推动着TASKCTL不断向前发展。

(三) 最走心的技术服务体系

只有优质的产品与服务,才有用户更好的应用效果

提升技术服务质量,不再是一句口号。我们结合产品自身应用场景特性以及最流行的互联网通道,像产品一样精心设计的技术支持体系,以更低的成本,为用户提供更快捷、更高效、更精准的技术服务支持。

0
0
分享到:
评论

相关推荐

    10万级etl批量作业调度工具Taskctl之轻量级Web应用版.docx

    Taskctl-Web版是一款免费的轻量级敏捷调度工具,它能有效地管理和监控复杂的作业调度,通过全内存计算和全事件驱动技术,实现快速的作业定义、编排和执行,同时提供负载均衡的调度建议。 Taskctl的设计理念是“专业...

    ETL调度工具TASKCTL(免费版)

    **ETL调度工具TASKCTL详解** ETL,即Extract-Transform-Load的缩写,是数据处理领域中的关键环节,用于从不同的数据源抽取数据,进行清洗、转换,然后加载到目标系统中。而在大数据环境下,高效、稳定的ETL调度工具...

    国产自动化运维ETL批量调度平台 TASKCTL 8.0 安装包

    TASKCTL是ETL调度领域专业的调度产品,适用于各行业的企业级、项目级ETL调度平台建设。此版是在C/S桌面客户端的基础上,TASKCTL 重新构建了一套基于web浏览器的B/S版本; 其中 TASKCTL 基础版的设计核心是以开发...

    一种改进的分布式ETL作业调度方法实现.pdf

    综上所述,改进的分布式ETL作业调度方法利用了多个开源组件的优势,通过一个中心化的调度器管理作业的执行流程和调度决策。该方案不仅提高了数据处理的效率,还通过支持故障恢复和服务冗余等机制提高了服务的可靠性...

    ETL Automation使用手册

    ETL Automation Server 负责执行数据提取、转换和加载操作,ETL Automation Repository 负责存储和管理数据模型、数据转换规则、作业流程等信息,GUI 前端程序提供了用户友好的操作界面。 工作目录架构介绍 工作...

    传统数据仓库ETL设计报告

    在物理层面,Web服务器部署了Web服务、元数据配置接口和服务,ETL配置信息库用于存储元数据,代理服务器上的ETL JOB生成服务生成ETL作业,而ETL服务器上则部署了调度控制服务和ETL工具如DataStage来执行作业。...

    ETL安装部署手册.docx

    本文档主要介绍了ETL服务器的安装步骤,包括rcrm用户创建、JDK安装与配置、Kettle安装配置以及ETL程序下发等内容。对于希望了解ETL系统安装流程的专业人士来说,这些内容提供了详细的指导。 #### 二、rcrm用户创建 ...

    ETL Automation 工具简介.pptx

    ETL Automation 是由 Teradata 公司发布的 ETL 流程调度产品,使用 JAVA 程序开发,支持跨平台部署,安装、维护简单。

    粒子群算法在分布式ETL任务调度中的应用.pdf

    在了解“粒子群算法在分布式ETL任务调度中的应用”这一主题之前,需要先明白几个关键概念:分布式ETL、任务调度以及粒子群优化算法。 分布式ETL(Extraction, Transformation, Loading)是数据仓库构建过程中的核心...

    spark替代Hive实现ETL作业

    ### Spark替代Hive实现ETL作业的关键知识点 #### 使用Hive存在的问题 - **性能瓶颈**:Hive依赖于Hadoop MapReduce引擎进行计算逻辑的执行。尽管它具有较低的硬件需求和较大的吞吐量,但相较于现代DAG(有向无环图...

    基于ISE算法的分布式ETL任务调度策略研究.pdf

    本文提出的调度框架和策略能够有效应对大规模流数据集成与分析任务,为后续的分布式数据处理和资源优化管理提供了理论支持和技术参考。 关键词包括:任务调度、负载均衡、动态分配、分布式集群、数据集成。通过实验...

    ETL_调度系统技术方案说明书_V1.0

    - **调度周期表(ETL_CTL_CYC):** 存储每个作业的调度周期信息,比如每天、每周等不同频率的调度任务。 - **调度参数表(ETL_CTL_PARA):** 记录作业执行时所需的特定参数,以便灵活配置不同的作业环境。 - **...

    ETL数据整合与处理(Kettle)教案.rar

    《ETL数据整合与处理——Kettle深度解析》 在当今大数据时代,数据已经成为企业决策的重要依据。ETL(Extract, Transform, Load)是数据仓库系统中的关键环节,负责从不同源头抽取数据、转换数据格式并加载到目标...

    藏经阁-spark替代HIVE实现ETL作业.pdf

    藏经阁-Spark 替代 Hive 实现 ETL 作业 Spark 替代 Hive 实现 ETL 作业是指使用 Spark 来替代 Hive 实现数据抽取、转换和加载(ETL)作业。Spark 是一个基于内存的计算引擎,可以提供高性能和低延迟的数据处理能力...

    Taskctl操作手册

    Taskctl是一款专业的自动调度平台,尤其在数据处理和ETL(提取、转换、加载)流程中扮演着核心角色。这个操作手册将引导我们深入了解如何高效地利用Taskctl进行任务管理和执行。 首先,让我们关注"TASKCTL-4.0-控制...

    基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具.zip

    【标题】中的“基于Web版Kettle开发的一套分布式综合调度、管理、ETL开发的用户专业版BS架构工具”指的是使用Kettle(Pentaho Data Integration)进行ETL(提取、转换、加载)过程,并且是Web化的版本,便于在浏览器...

    基于MapReduce的分布式ETL调度优化方法.pdf

    总体而言,分布式ETL调度优化是一个涉及多个层面的问题,不仅需要考虑数据的类型和节点的计算能力,还需要综合考量作业大小及类型,并且要考虑到系统的吞吐率和响应时间。而MapReduce作为一种高效的并行处理模型,为...

    TASKCTL 5.1 安装与初始化.pdf

    代理层则负责与目标服务器(例如ETL服务器、作业工作站等)的控制交互,通过主从代理级联,可以对集群部署的服务器进行调度控制,实现负载均衡。目标层则是整个产品控制的目标。 在安装方面,TASKCTL5.1的软件...

    ETL开发宝典

    DW Automation在整个ETL过程中扮演着调度、控制和监视的角色,确保ETL作业按计划执行。 数据仓库自动化(DW Automation)部分强调了作业的调度和控制对于保证ETL流程顺畅的重要性。通过系统化的方法来启动和监控ETL...

    ETL学习笔记之Kettle下载与部署与使用

    ### ETL学习笔记之Kettle下载与部署与使用 #### 一、Kettle概念与应用场景 Kettle是一款功能强大的开源ETL(Extract-Transform-Load)工具,它使用纯Java编写,因此可以在多种操作系统上运行,包括Windows、Linux...

Global site tag (gtag.js) - Google Analytics