`
taskctl2012
  • 浏览: 11674 次
  • 性别: Icon_minigender_1
  • 来自: 成都
文章分类
社区版块
存档分类
最新评论

批量kettle作业调度工具 Taskctl 调度任务监控视图

阅读更多
软件安装: 去公众号 "taskctl" 回复内容 "软件" 或 "领取" 即可;

TASKCTL 在线应用简介:‍

 

Taskctl在线应用版V1.2相比C/S应用端功能完整,并精简部分操作逻辑,适合初学者体验 taskctl 产品,也能作为中小项目生产应用。

实时监控 Monitor

监控概况

通过监控概况页面,您可以实时了解到整个平台作业运行统计情况,调度控 制节点资源的消耗情况,我的消息,上次作业排程分布,业务流程的运行及统计 情况,以及对平台调度器,平台作业流提供了更直观的监控界面。如下图所示:

视图监控

“视图监控”是调度监控运维管理中重要的功能。采用不同状态的作业图标 标注了指定模块的作业实时运行情况,也清楚地展示了作业节点之间的串并关系, 以及模块之间的引用关系等。通过“视图监控”,可以快速定位正在运行的作业 节点。也可以运用作业节点搜索器在图形上快速定位指定作业节点,并对其进行

维护操作。“视图监控”分为流程视图和定时器视图。在页面布局及操作体验上 略有不同,下面将分别介绍:

视图监控整体布局

作业状态面板

点击模块视图显示区中作业节点,将显示“作业运行状态”面板。在“作业运行 状态”面板中可以查看当前选中的作业运行信息,以及内置了“作业操作面板”。

流程图监控

流程图从 begin 节点开始到 end 节点方向,直观展示了一个模块中作业执行顺 序流向。具有以下特征:

  1. 自动规则展示:TASKCTL 控制容器图采用自动排列方式,图形不会出现线条 交叉的情况,并清楚地展示了作业节点之间的串并关系。
  2. 钻取展示方式:某些大控制容器难免会出现子模块数量多,层次深的情况。 可以通过双击 include 模块节点下钻到子模块,或通过右键菜单快速返回到 “主模块”“上级模块”以及“子模块”
  3. 节点描述中英文自由切换:在控制容器开发的时候,通常是采用一定规则的 英文字符来描述节点名称。而在正式监控维护生成环境中,这种描述方式给 国人带来了一定程度的理解障碍。Taskctl-web-application 在图形监控中提供 了“英文节点名称”“中文节点描述”之间相互转换的功能。您可以使用 图形监控窗口工具栏中所特有的“ ”图标按钮来进行切换。
  4. 不同类型作业图标自定义:为了更清楚地表达节点的性质,加大节点类型之 间的对比度,提高控制容器图的可读性。TASKCTL 提供了节点图标自定的功能。您可以在 TASKCTL—ADMIN 初始化部署平台自定义作业节点图标。
  5. 图形节点搜索定位:在“作业节点搜索框”输入节点名称关键词(支持不区 分大小写的模糊匹配),系统自动弹出所匹配的节点列表。点击列表项后将 自动定位到指定作业节点位置。
  6. 正执行作业节点快速定位:在控制容器执行监控过程中,我们往往对正在执 行的作业最为关注,但作业节点的状态将是动态改变的。如果长时间不关注 图形监控界面,正执行的作业节点将很容易失去跟踪。TASKCTL 提供了“正 执行作业节点快速定位”功能,您可以点击“ ”快速定位到下一个正执 行的作业节点。除了正执行作业外,还支持自动定位到“异常节点”和“选 中节点”
  7. 图形位置拖拽显示:在面对大量作业组成的流程图中,一副页面并不能完全 显示,传统页面模式中,可以采用拖动横纵向滚动条的方式来显示。 TASKCTL 提供了图形整体拖拽的方式来显示遮盖区域的作业。这比拖拉滚动条的方式更加方便快捷。

定时器监控

定时器视图由多个定时器组卡片构成。每个组卡片中并排了一个或多个作业 节点。每个作业节点中展示了其下次运行时间、运行信息和用不同的背景色展示 了运行状态。如:红色代表运行错误,绿色代表执行成功。

调度激活 调度激活提供主控制容器(定时器、主流程)批量激活与停止,如下图所示

工程统计

工程口径统计监控是以“工程”为观察角度,按照作业状态为切面条件实时统计每个“工程”下作业不同执行状态的数量以及汇总情况。是 TASKCTL 最上 级层次的作业统计方式。

控制容器统计

控制容器口径统计监控是以“控制容器”为观察角度,按照作业状态为切面 条件实时统计每个“控制容器”下作业不同执行状态的数量以及汇总情况。

模块统计

模块口径统计监控是以“模块”为观察角度,按照作业状态为切面条件实时 统计每个“模块”下作业不同执行状态的数量以及汇总情况。如下图所示:

作业列表

作业列表展示了作业的详细信息列表。如下图所示:

历史记录

历史记录主要反应一段时期内作业开始结束时间、运行耗时、运行代理等信 息,同时还可以快速定位到相应的运行日志。

排程分布图

该功能展示了某天各个时段(每 2 小时)下作业运行数信息,以及作业运行高峰期时段。参考此图,为合理编排流程的运行时段提供理论支撑。

长时作业分析

当流程运行一段时间后,每个批次会有相对稳定的时间窗口,包括运行时长, 运行起止时间。“长时作业分析”顾名思义展示了整体平台运行时间较长的作业。 通过参考该信息,可对调度流程的运行瓶颈有直观的了解,为优化流程运行的时 间窗口提供了可能。

异常作业分析

该功能展示了调度平台整体的异常作业次数统计情况。异常作业是影响批量 系统稳定性最关键的因素。

节点拓扑图

该功能展示了调度平台整体的网络架构拓扑图,并展示了各个节点的健康程 度,以及各个节点资源利用率。

操作记录

记录用户在平台进行人工操作的各种信息,如启停流程,中断作业、编辑编 译调度信息等。

0
2
分享到:
评论

相关推荐

    kettle-scheduler-master_springmvc_kettlejava_kettleweb调度_kettle-

    5. **Kettle Web调度**:这个项目可能包括了创建Web接口来启动、停止、监控和管理Kettle作业和转换。用户可以设定定时任务,系统会在指定时间自动执行相应的Kettle作业。 6. **kettle-scheduler-master**:这个...

    kettle批量导出mysql建表语句

    在这个场景中,“kettle批量导出mysql建表语句”是一个关于如何使用Kettle来自动化地从MySQL数据库中提取建表语句,包括数据表和视图的创建语句,以便于备份或在其他环境中重建相同结构的过程。 首先,我们需要了解...

    kettle工具——用于数据迁移等

    5. **实时数据处理**:Kettle的Kitchen和Pan组件可用于调度和执行定时任务,实现数据的实时处理。 通过理解Kettle的基本概念和特点,我们可以更有效地利用这个工具来解决实际的ETL问题,提升数据处理的效率和质量。...

    etl工具Kettle大全

    6. **日志与监控**:理解Kettle的日志系统,学习如何配置日志级别,以及使用监控工具(如Pentaho Data Integration Server)跟踪和分析ETL运行情况。 7. **插件开发**:如果预定义的步骤无法满足需求,Kettle支持...

    使用kettle转换oracle与 mysql的表数据

    同时,Kettle提供了丰富的日志和监控工具,帮助你跟踪和分析转换过程。 在提供的文档《kettle数据转换工具.docx》和《Kettle使用说明.docx》中,应该详细介绍了这些步骤的具体配置和操作方法,包括如何在Kettle的...

    kettle参数设置与使用

    Kettle,也称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,它提供了图形化的界面用于构建、测试和执行ETL(提取、转换、加载)任务。在这个"Kettle参数设置与使用"的主题中,我们将深入探讨如何在...

    KETTLE5.4中文使用说明文档

    7. **性能监控和调度**:Kettle内置了Job和Transformation的监控和调度工具,允许用户设置定时任务,并查看执行状态和性能指标。5.4版本可能增强了监控功能,为用户提供更全面的性能视图。 8. **API和插件扩展**:...

    数据仓库 工具kettle

    Spoon是Kettle的主要图形界面工具,用于设计转换和任务。运行Spoon的方法是在Kettle安装目录下找到对应的执行文件并双击打开。 #### 二、Kettle的基本组件 ##### 1.4 资源库 资源库是Kettle用来存储转换和任务的...

    ETL工具Kettle用户手册

    **ETL工具Kettle简介** Kettle,又称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,主要用于在不同的数据源之间进行数据提取、转换和加载(ETL)操作。Kettle由社区驱动,支持Java开发,具有高度...

    kettle 入门与提高

    4. 配置与调度:Kettle的作业可以配置定时任务,利用"作业执行器"或集成到其他调度系统(如Cron、Quartz等)中,实现自动化运行。 5. 监控与日志:Kettle提供详细的日志记录和监控工具,通过日志查看器可以追踪转换...

    Kettle中文手册3.0用户手册-实战.rar

    5. **作业的设计与调度**:在作业部分,你将学习如何组合多个转换,形成复杂的业务流程,并设置定时任务和监控机制,实现自动化数据处理。 6. **错误处理与日志记录**:了解如何设置错误处理策略,确保数据处理的...

    SpringMVC精品资源--将kettle集成值web应用中,不再需打开kettle窗口运行,采用springmv.zip

    在Web应用中集成Kettle,可以实现远程执行和监控ETL任务,提高效率。 要将Kettle集成到SpringMVC应用中,你需要做以下几步: 1. **配置Kettle环境**:确保你的系统已经安装了Kettle环境,包括Spoon(图形化开发...

    kettle 入门

    其中,转换工具栏用于对数据转换进行操作,而作业工具栏则针对批处理作业。 主对象树是Kettle中数据流和作业流程的可视化表示。它包括转换主对象树和作业主对象树,分别用于创建和管理转换和作业。通过新建转换或...

    kettle用户手册

    Transformations专注于单一的数据转换任务,而Jobs则负责协调多个Transformations,以及执行其他的控制流程任务,如错误处理和调度。 - **Transformations**:由一系列步骤组成,每个步骤间通过数据流连接。用户...

    大数据工具之Azkaban使用教程.zip

    - **依赖管理**:Azkaban能处理作业间的依赖关系,确保任务按照正确的顺序执行,并在前一个任务成功后自动触发下一个任务。 - **定时调度**:用户可以通过Azkaban设置定时计划,让工作流在特定的时间自动执行。 -...

    Kettle解决方案:使用PDI构建开源ETL解决方案

    - **调度与监控**:Kettle可以集成到Cron等调度器中,实现自动化运行,并提供详细的日志和监控功能。 - **并行与分布式执行**:Kettle支持多线程处理和Pentaho集群,以提高数据处理性能。 3. **使用PDI构建ETL...

Global site tag (gtag.js) - Google Analytics