基于元数据驱动的ETL

2016-07-03 朱洁 

 

元数据的定义元数据（Metadata），为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

 

ETL的定义

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

 

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

 

数据不符合分析的要求，所以要准备数据，这个过程就叫ETL。

 

基于元数据驱动的价值

可以统一数据资产，获取企业数据全局视图。一个好的元数据管理工具，对企业全系统的数据在哪里，都有哪些数据，有一个全局观。缺失元数据管理工具，就只能靠人员经验，谁也说不清楚数据来源，以及作用。

 

简化etl过程，通过元数据可以构建自动工具，自动基于元数据通过简单的UI操作就可以实现etl过程。简化etl代码编写过程并且etl过程也可以大量的复用。

 

基于元数据驱动的难点

元数据管理难。数据变化快，传统手工配置的方法很难保证一致性而且是一个工作量巨大的工作。元数据就是企业多数据字典，维护一个完整的元数据，就类似编字典。

 

 

涉及到语义管理，不同的表，不同名称的字段，可能是同一含义。相同名称的字段也可能含义不一样，还涉及版本变化。

 

 

所以这个工作是个技术＋管理的工作。业界有很多公司在思考怎么降低元数据管理难度，所以有利用机器学习自动识别元数据的共识，例如tamr，华傲数据等等。

 

 

另外，元数据不仅是etl的基础，也是数据质量/数据治理的基础。

 

 

 

 

 

 

 

微信扫一扫
关注该公众号