软件安装: 去公众号 "taskctl" 回复内容 "软件" 或 "领取" 即可;
TASKCTL 在线应用简介:
Taskctl在线应用版V1.2相比C/S应用端功能完整,并精简部分操作逻辑,适合初学者体验 taskctl 产品,也能作为中小项目生产应用。
实时监控 Monitor
监控概况
通过监控概况页面,您可以实时了解到整个平台作业运行统计情况,调度控 制节点资源的消耗情况,我的消息,上次作业排程分布,业务流程的运行及统计 情况,以及对平台调度器,平台作业流提供了更直观的监控界面。如下图所示:
视图监控
“视图监控”是调度监控运维管理中重要的功能。采用不同状态的作业图标 标注了指定模块的作业实时运行情况,也清楚地展示了作业节点之间的串并关系, 以及模块之间的引用关系等。通过“视图监控”,可以快速定位正在运行的作业 节点。也可以运用作业节点搜索器在图形上快速定位指定作业节点,并对其进行
维护操作。“视图监控”分为流程视图和定时器视图。在页面布局及操作体验上 略有不同,下面将分别介绍:
视图监控整体布局
作业状态面板
点击模块视图显示区中作业节点,将显示“作业运行状态”面板。在“作业运行 状态”面板中可以查看当前选中的作业运行信息,以及内置了“作业操作面板”。
流程图监控
流程图从 begin 节点开始到 end 节点方向,直观展示了一个模块中作业执行顺 序流向。具有以下特征:
- 自动规则展示:TASKCTL 控制容器图采用自动排列方式,图形不会出现线条 交叉的情况,并清楚地展示了作业节点之间的串并关系。
- 钻取展示方式:某些大控制容器难免会出现子模块数量多,层次深的情况。 可以通过双击 include 模块节点下钻到子模块,或通过右键菜单快速返回到 “主模块”、“上级模块”以及“子模块”。
- 节点描述中英文自由切换:在控制容器开发的时候,通常是采用一定规则的 英文字符来描述节点名称。而在正式监控维护生成环境中,这种描述方式给 国人带来了一定程度的理解障碍。Taskctl-web-application 在图形监控中提供 了“英文节点名称”与“中文节点描述”之间相互转换的功能。您可以使用 图形监控窗口工具栏中所特有的“ ”图标按钮来进行切换。
- 不同类型作业图标自定义:为了更清楚地表达节点的性质,加大节点类型之 间的对比度,提高控制容器图的可读性。TASKCTL 提供了节点图标自定的功能。您可以在 TASKCTL—ADMIN 初始化部署平台自定义作业节点图标。
- 图形节点搜索定位:在“作业节点搜索框”输入节点名称关键词(支持不区 分大小写的模糊匹配),系统自动弹出所匹配的节点列表。点击列表项后将 自动定位到指定作业节点位置。
- 正执行作业节点快速定位:在控制容器执行监控过程中,我们往往对正在执 行的作业最为关注,但作业节点的状态将是动态改变的。如果长时间不关注 图形监控界面,正执行的作业节点将很容易失去跟踪。TASKCTL 提供了“正 执行作业节点快速定位”功能,您可以点击“ ”快速定位到下一个正执 行的作业节点。除了正执行作业外,还支持自动定位到“异常节点”和“选 中节点”
- 图形位置拖拽显示:在面对大量作业组成的流程图中,一副页面并不能完全 显示,传统页面模式中,可以采用拖动横纵向滚动条的方式来显示。 TASKCTL 提供了图形整体拖拽的方式来显示遮盖区域的作业。这比拖拉滚动条的方式更加方便快捷。
定时器监控
定时器视图由多个定时器组卡片构成。每个组卡片中并排了一个或多个作业 节点。每个作业节点中展示了其下次运行时间、运行信息和用不同的背景色展示 了运行状态。如:红色代表运行错误,绿色代表执行成功。
调度激活 调度激活提供主控制容器(定时器、主流程)批量激活与停止,如下图所示
工程统计
工程口径统计监控是以“工程”为观察角度,按照作业状态为切面条件实时统计每个“工程”下作业不同执行状态的数量以及汇总情况。是 TASKCTL 最上 级层次的作业统计方式。
控制容器统计
控制容器口径统计监控是以“控制容器”为观察角度,按照作业状态为切面 条件实时统计每个“控制容器”下作业不同执行状态的数量以及汇总情况。
模块统计
模块口径统计监控是以“模块”为观察角度,按照作业状态为切面条件实时 统计每个“模块”下作业不同执行状态的数量以及汇总情况。如下图所示:
作业列表
作业列表展示了作业的详细信息列表。如下图所示:
历史记录
历史记录主要反应一段时期内作业开始结束时间、运行耗时、运行代理等信 息,同时还可以快速定位到相应的运行日志。
排程分布图
该功能展示了某天各个时段(每 2 小时)下作业运行数信息,以及作业运行高峰期时段。参考此图,为合理编排流程的运行时段提供理论支撑。
长时作业分析
当流程运行一段时间后,每个批次会有相对稳定的时间窗口,包括运行时长, 运行起止时间。“长时作业分析”顾名思义展示了整体平台运行时间较长的作业。 通过参考该信息,可对调度流程的运行瓶颈有直观的了解,为优化流程运行的时 间窗口提供了可能。
异常作业分析
该功能展示了调度平台整体的异常作业次数统计情况。异常作业是影响批量 系统稳定性最关键的因素。
节点拓扑图
该功能展示了调度平台整体的网络架构拓扑图,并展示了各个节点的健康程 度,以及各个节点资源利用率。
操作记录
记录用户在平台进行人工操作的各种信息,如启停流程,中断作业、编辑编 译调度信息等。
相关推荐
5. **Kettle Web调度**:这个项目可能包括了创建Web接口来启动、停止、监控和管理Kettle作业和转换。用户可以设定定时任务,系统会在指定时间自动执行相应的Kettle作业。 6. **kettle-scheduler-master**:这个...
在这个场景中,“kettle批量导出mysql建表语句”是一个关于如何使用Kettle来自动化地从MySQL数据库中提取建表语句,包括数据表和视图的创建语句,以便于备份或在其他环境中重建相同结构的过程。 首先,我们需要了解...
5. **实时数据处理**:Kettle的Kitchen和Pan组件可用于调度和执行定时任务,实现数据的实时处理。 通过理解Kettle的基本概念和特点,我们可以更有效地利用这个工具来解决实际的ETL问题,提升数据处理的效率和质量。...
6. **日志与监控**:理解Kettle的日志系统,学习如何配置日志级别,以及使用监控工具(如Pentaho Data Integration Server)跟踪和分析ETL运行情况。 7. **插件开发**:如果预定义的步骤无法满足需求,Kettle支持...
同时,Kettle提供了丰富的日志和监控工具,帮助你跟踪和分析转换过程。 在提供的文档《kettle数据转换工具.docx》和《Kettle使用说明.docx》中,应该详细介绍了这些步骤的具体配置和操作方法,包括如何在Kettle的...
Kettle,也称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,它提供了图形化的界面用于构建、测试和执行ETL(提取、转换、加载)任务。在这个"Kettle参数设置与使用"的主题中,我们将深入探讨如何在...
7. **性能监控和调度**:Kettle内置了Job和Transformation的监控和调度工具,允许用户设置定时任务,并查看执行状态和性能指标。5.4版本可能增强了监控功能,为用户提供更全面的性能视图。 8. **API和插件扩展**:...
Spoon是Kettle的主要图形界面工具,用于设计转换和任务。运行Spoon的方法是在Kettle安装目录下找到对应的执行文件并双击打开。 #### 二、Kettle的基本组件 ##### 1.4 资源库 资源库是Kettle用来存储转换和任务的...
**ETL工具Kettle简介** Kettle,又称为Pentaho Data Integration(PDI),是一款强大的数据集成工具,主要用于在不同的数据源之间进行数据提取、转换和加载(ETL)操作。Kettle由社区驱动,支持Java开发,具有高度...
4. 配置与调度:Kettle的作业可以配置定时任务,利用"作业执行器"或集成到其他调度系统(如Cron、Quartz等)中,实现自动化运行。 5. 监控与日志:Kettle提供详细的日志记录和监控工具,通过日志查看器可以追踪转换...
5. **作业的设计与调度**:在作业部分,你将学习如何组合多个转换,形成复杂的业务流程,并设置定时任务和监控机制,实现自动化数据处理。 6. **错误处理与日志记录**:了解如何设置错误处理策略,确保数据处理的...
在Web应用中集成Kettle,可以实现远程执行和监控ETL任务,提高效率。 要将Kettle集成到SpringMVC应用中,你需要做以下几步: 1. **配置Kettle环境**:确保你的系统已经安装了Kettle环境,包括Spoon(图形化开发...
其中,转换工具栏用于对数据转换进行操作,而作业工具栏则针对批处理作业。 主对象树是Kettle中数据流和作业流程的可视化表示。它包括转换主对象树和作业主对象树,分别用于创建和管理转换和作业。通过新建转换或...
Transformations专注于单一的数据转换任务,而Jobs则负责协调多个Transformations,以及执行其他的控制流程任务,如错误处理和调度。 - **Transformations**:由一系列步骤组成,每个步骤间通过数据流连接。用户...
- **依赖管理**:Azkaban能处理作业间的依赖关系,确保任务按照正确的顺序执行,并在前一个任务成功后自动触发下一个任务。 - **定时调度**:用户可以通过Azkaban设置定时计划,让工作流在特定的时间自动执行。 -...
- **调度与监控**:Kettle可以集成到Cron等调度器中,实现自动化运行,并提供详细的日志和监控功能。 - **并行与分布式执行**:Kettle支持多线程处理和Pentaho集群,以提高数据处理性能。 3. **使用PDI构建ETL...