数据仓库新玩法---横纵式DW + 横纵式ETL

 

从用途说起

 

DW : 用于分析的数据平台

ODS : 用于过渡的转换平台

 

ODS

1, 集中

   将不同数据库,不同数据源的数据统一集中存储

 

2, 隔离

   通过ODS隔离数据仓库和业务系统数据库, 可减轻对业务系统的压力

 

3, 实时+明细

   存储实时的明细数据, 可以据此生成报表

 

横式DW + 横式ETL 替代 ODS

1, 集中异构数据源

   将不同数据库,不同数据源的数据统一集中存储到此仓库内

 

2, 横向抽取

   只做横向抽取(抽取需要的行), 即是表结构不变, 只抽取历史数据,对于那些刚保存,或没有审批通过的数据不抽取.

 

3, 定时抽取

   按照抽取策略定时抽取, 如:秒级, 分级, 时级.

 

纵式DW + 纵式ETL  面向分析

1, 纵向抽取

   在横式DW基础上进行纵向抽取(抽取需要的列)形成待分析数据

 

2,统计分析

  存储按维度进行统计后的数据或者原始数据,用于统计分析

 

说明 : 横向抽取==抽取需要的行,  纵向抽取==抽取需要的列

 

刚想出来, 欢迎评论, 欢迎拍砖, 欢迎批评, 欢迎建议, 正要在项目中实践.