大数据分析处理平台的调度应该具备什么能力？

本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。

谈调度之前，先说说大数据分析处理平台的定义：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一般来说，大数据分析处理平台有以下几个显著特点：

1. 规模大，集群化。百度，腾讯，阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。
2. 复杂度高，多个子系统异构。现在很难有一种技术能把所有问题搞定，所以通常是多个子系统混合一起通力合作。
3. 系统负载高，压力大，从腾讯公布的数据来看，每天完成上百万个任务的执行。
4. 可靠性要求高，容易维护。

 

那么调度在整个大数据分析处理平台中起到什么作用？我觉得一个智能、高效的调度应该达到以下几个层面的能力：

1. 首先是从资源角度，整个系统中要做到高效，就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理，高效的分配和调度。业界现在最常见的是MESOS，YARN，腾讯基于YARN的基础上改造了GAIA，谷歌公布了他的第三代调度Omega，关于资源管理可以看我前面的文章《资源管理框架（mesos/YARN/coraca/Torca/Omega)选型分析》。
2. 从系统整合角度，整个系统一定是异构的系统，所以调度要支持异构，能整合异构系统来一起完成整个数据的计算，流转，存储以及提供服务。
3. 从业务角度来看，系统一定的可扩展的，业务可快速定制的，所以调度本身能结合业务进行定制，支持任务的编排，任务的各个子系统的快速迁移。
4. 从调度本身能力来看，调度本身应该是一个智能的调度，具有自学习，自我调优的能力，一个智能的调度系统才适合业务的不停变化。