Apache之Tez 介绍

Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是，有很多用例需要近乎实时的查询处理性能。还有一些工作则不太适合MapReduce，例如机器学习。Tez的目的就是帮助Hadoop处理这些用例场景。

 

 

 

Tez 2 main design themes for Tez are:

Empowering end users by:

Expressive dataflow definition APIs

Flexible Input-Processor-Output runtime model

Data type agnostic

Simplifying deployment

 

 

Execution Performance

Performance gains over Map Reduce

Optimal resource management

Plan reconfiguration at runtime

Dynamic physical data flow decisions

 

 

 

Tez项目的目标是支持高度定制化，这样它就能够满足各种用例的需要，让人们不必借助其他的外部方式就能完成自己的工作，如果 Hive和 Pig 这样的项目使用Tez而不是MapReduce作为其数据处理的骨干，那么将会显著提升它们的响应时间。Tez构建在YARN之上，后者是Hadoop所使用的新资源管理框架。

 

 

Tez产生的主要原因是绕开MapReduce所施加的限制。除了必须要编写Mapper和Reducer的限制之外，强制让所有类型的计算都满足这一范例还有效率低下的问题——例如使用HDFS存储多个MR作业之间的临时数据，这是一个负载。在Hive中，查询需要对不相关的key进行多次shuffle操作的场景非常普遍，例如join - grp by - window function - order by。

 

Tez设计哲学里面的关键元素包括：

 

允许开发人员（也包括最终用户）以最有效的方式做他们想做的事情

更好的执行性能

Tez之所以能够实现这些目标依赖于以下内容：

 

具有表现力的数据流API——Tez团队希望通过一套富有表现力的数据流定义API让用户能够描述他们所要运行计算的有向无环图 （DAG）。为了达到这个目的，Tez实现了一个结构化类型的API，你可以在其中添加所有的处理器和边，并可视化实际构建的图形。

灵活的输入—处理器—输出（Input-Processor-Output）运行时模型——可以通过连接不同的输入、处理器和输出动态地构建运行时执行器。

数据类型无关性——仅关心数据的移动，不关心数据格式（键值对、面向元组的格式等）。

动态图重新配置

简单地部署——Tez完全是一个客户端应用程序，它利用了YARN的本地资源和分布式缓存。就Tez的使用而言，你不需要在自己的集群上部署任何内容，仅需要将相关的Tez类库上传到HDFS上，然后使用Tez客户端提交这些类库即可。

你甚至可以在你的集群上放置两份类库。一份用于产品环境，它使用稳定版本供所有的生产任务使用；另一份使用最新版本，供用户体验。这两份类库相互独立，互不影响。

 

Tez能够运行任意MR任务，不需要做任何改动。这样能够让那些现在依赖于MR的工具实现分布迁移。