ETL面临的问题

ETL面临的问题

一, 数据同步
二, 数据关联

 

一, 数据同步

业务系统的数据库变化了, 怎么同步到DW中, 常见方法如下

 

1, 全部删除, 重新导入
   优点 : 简单
   缺点 : 无法保存历史记录, 时间代价大

 

2, 时间戳增量更新
   优点 : 简单, 快速
   缺点 : 必须有时间戳字段

 

3, 全表对比增量更新
   优点 : 限制条件少
   缺点 : 时间代价昂贵, 处理复杂

 

二, 数据关联

 
数据仓库中保存维度数据的历史版本, 如同一个公司, 在2008年名称叫"股份A公司", 2009年1月1日升级了叫"集团A公司", 原来的版本1, 现在版本2; 很显然2008年以前的交易数据, 我希望看到的收款公司 应该是 "股份A公司", 2009年产生的交易, 里面的收款公司 应该是 "集团A公司".

 

前提是:业务系统没有版本的概念, 就记录现在的.

 

怎么才能使ETL抽取的数据正确关联恰当的公司名称?

 

采用扩展ID 就是:

 

扩展ID == ID * 1000 + version

 

一般来时 一个公司能变更的次数不可能超过999次, 如此公司存在100年, 一年就要变更10次, 这也太夸张了.

采用扩展ID后, 数据就能正确关联到相应的数据了.