`
jiezhu2007
  • 浏览: 247394 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
博客专栏
Cfa1f850-3fc3-3a36-9cd8-c3415c9610c6
hadoop技术学习
浏览量:145275
Group-logo
大数据产业分析
浏览量:3000
社区版块
存档分类
最新评论

chronos:数据中心的任务调度器(job scheduler)

阅读更多


 1、
Chronos来源

Chronos现在是一家初创公司 Mesosphere在维护,该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。 ChronosAirbnb是用来替代cron,是一个跑在mesos上的分布式的,可靠的调度scheduler

Mesosphere公司相关信息大家可以到以下链接看看:

http://mesosphere.io/

2、Chronos架构

 

 

Chronos架在mesos上,负责定时任务触发,解决任务之间的重复调用,依赖关系。任务通过mesos提交给下面的Hive,Pig等框架执行,元数据存放在DB中。Chronos的可靠性依赖zookeeper解决。

3、chronos扩展性

      Chronos借助mesosmaster/slave架构,支持sh脚本,甚至通过异步的方式执行远端文件传输和脚本,可以通过扩展基本支持hadoop以及传统数据库,脚本等在本地和远端的执行调用。

   支持标准的ISO8601的调度,可定义作业执行完成后的触发器,支持任意长度的依赖链。

4、功能特性

· 基于WebUI

· 8601 Repeating Interval Notation

· Handles dependencies

· Job Stats (e.g. 50th, 75th, 95th and 99th percentile timing, failure/success)

· Fault Tolerance (Hot Master)

· Configurable Retries

· Multiple Workers (i.e. Mesos Slaves)

 

5、应用场景以及当前存在的问题:

(1)适合数据中心异构集群批任务(长周期,重复执行)统一调度和管理。

(2)可以通过Mesos承担统一管理资源,如果不需要mesos统一管理资源,mesos退化成通信框架。

(3)不适合对实时性要求高的任务(秒级),不适合单次执行触发的任务。

(4)Web UI还比较简陋,没有以图的方式显示任务的依赖关系。

(5)任务调度里面没有优先级。

(6)没有统计任务资源使用情况,调度信息反馈统计不足。

(7)没有调度自学习能力,不能自动调优调度效率。

 

6项目主页:

http://airbnb.github.io/chronos/#Describing%20the%20Dependency%20Graph

  • 大小: 59 KB
分享到:
评论

相关推荐

    job-scheduler:我自己的作业调度程序,用于替换 Chronos

    "job-scheduler"是一个专为替换Chronos设计的作业调度程序,它由JavaScript编写,这表明它可能利用了Node.js的生态系统来提供服务。 Chronos是一个基于Mesos的分布式时序作业调度系统,常被用于大数据环境中的任务...

    chronos:Golang的排程库

    调度程序管理所有作业任务的运行时。 配置完所有定义后,应运行以下命令,因为它会无限期地阻塞。 ...chronos . Launch ( ":8080" )... 调度程序的另一个导入功能是它还通过HTTP公开运行状况和统计信息。 这就是为...

    Java 实现分布式定时任务

    3. 任务调度:常见的分布式调度解决方案有Apache Mesos、Chronos、Elastic Job等。它们提供中心化的任务调度服务,协调各个节点的任务执行。 四、Quartz作为分布式定时任务库 Quartz是一个功能强大的定时任务库,...

    Laravel开发-laravel-task-scheduler

    1. **Cron Jobs**: Laravel 任务调度器基于 Unix 的 Cron 机制,用于执行定时任务。在服务器上设置一个定时运行的 Cron Job,调用 Laravel 的 `php artisan schedule:run` 命令,框架会检查并执行所有预定的任务。 ...

    saturn Network Job Scheduler-开源

    土星网络作业调度器,灵感来源于古希腊神话中的时光之神Chronos,寓意着精准与有序的时间管理。这个项目将神话中的概念转化为现实,为现代信息技术领域提供了一种高效、可扩展的作业调度解决方案。作为一个开源软件...

Global site tag (gtag.js) - Google Analytics