ETL自动化设计思路

这段时间很充实！

工具：DB2  JAVA 存储过程

1：分析业务，整理成每一主题需要的维与指标，形成源PDM！

2：分析以前的业务系统中的表，并形成主题的数据来源于业务库的字段映射，形成源表-中间表-目标表的，形成维度表。形成仓库PDM

3：根据仓库PDM，建立好各个表。

4：ETL，java写一个方法，参数为{存储过程名，目标表名，目标字段，源表名（一个或者多个），源表字段，条件，抽取起始时间，抽取终止时间}

//异常处理
//日志记录
//索引处理

最终生成存储过程。将各个存储过程以及各参数的信息写到存储过程表中。

调用为：call 存储过程名（抽取起始时间，抽取终止时间）

5：DB2任务中心，sql 存储过程表，执行存储过程自动完成ETL

前3步重点在业务模型！
后2步重点在设计、存储过程！
以上是两个月的小结！




接下来：FM，TS,AS,BI
qq:331932672