在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
1. 数据量比较大;
2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,
比如,查看某一个用户在过去某一段时间内,更新过几次等等;
4. 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;
5. 如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
拉链历史表,既能满足反应数据的历史状态,又可以最大程度的节省存储;
举个简单例子,比如有一张订单表,6月20号有3条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
创建订单
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
到6月21日,表中有5条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
创建订单
|
到6月22日,表中有6条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
已发货(从支付到发货)
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
支付完成(从创建到支付)
|
2012-06-22
|
006
|
创建订单
|
数据仓库中对该表的保留方法:
1. 只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;
2. 每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;
如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:
订单创建日期
|
订单编号
|
订单状态
|
dw_begin_date
|
dw_end_date
|
2012-06-20
|
001
|
创建订单
|
2012-06-20
|
2012-06-20
|
2012-06-20
|
001
|
支付完成
|
2012-06-21
|
9999-12-31
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
9999-12-31
|
2012-06-20
|
003
|
支付完成
|
2012-06-20
|
2012-06-21
|
2012-06-20
|
003
|
已发货
|
2012-06-22
|
9999-12-31
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
9999-12-31
|
2012-06-21
|
005
|
创建订单
|
2012-06-21
|
2012-06-21
|
2012-06-21
|
005
|
支付完成
|
2012-06-22
|
9999-12-31
|
2012-06-22
|
006
|
创建订单
|
2012-06-22
|
9999-12-31
|
说明:
1. dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;
2. dw_end_date = '9999-12-31'表示该条记录目前处于有效状态;
3. 如果查询当前所有有效的记录,则select * from order_his where dw_end_date = '9999-12-31'
4. 如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date
<= '2012-06-21' and end_date >= '2012-06-21',这条语句会查询到以下记录:
订单创建日期
|
订单编号
|
订单状态
|
dw_begin_date
|
dw_end_date
|
2012-06-20
|
001
|
支付完成
|
2012-06-21
|
9999-12-31
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
9999-12-31
|
2012-06-20
|
003
|
支付完成
|
2012-06-20
|
2012-06-21
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
9999-12-31
|
2012-06-21
|
005
|
创建订单
|
2012-06-21
|
2012-06-21
|
和源表在6月21日的记录完全一致:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
创建订单
|
可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源;
关于这种历史拉链表的etl刷新策略和方法,下次再谈吧。。。
分享到:
相关推荐
| :-----: | :-----: | :------: | :------: | :------: | :-----: | | VOC07+12+COCO | [yolo4_voc_weights.pth] | VOC-Test07 | 416x416 | - | 89.0 | COCO-Train2017 | [yolo4_weights.pth] | COCO-Val2017 | ...
AggDesigner是Kettle工具集的一部分,专门用于创建和管理数据仓库中的聚合表,也称为汇总表或维度表。这些表包含预先计算好的统计信息,能够显著提升分析查询的速度。 在5.1.5-jhyde版本中,AggDesigner可能包含...
在数据流图中,外部实体代表系统之外的参与者,数据存储表示系统内部的数据资源,数据流则表示数据的传输和处理过程。通过对这些元素的理解,可以清晰地理解系统的业务流程和信息传递方式,从而更好地进行系统设计和...
【问题 1】 在数据流图中,外部实体(External Entity)表示系统之外与系统交互的实体。...这些数据流图和说明展示了信息系统如何处理数据,包括输入、处理、存储和输出,以支持特定业务流程,如成绩管理和销售管理。
- **数据仓库**:一种用于收集和管理企业内部历史数据的系统,以便进行决策支持分析。 - **生命周期**:从规划、设计、实施到维护整个数据仓库过程中的各个阶段。 - **工具箱**:指的是在数据仓库建设过程中使用的...
- 数据模型的合理性:数据模型设计要考虑到财务数据的特点,合理设计事实表和维度表,确保数据仓库的可扩展性和灵活性。 - 数据仓库的性能:由于财务数据分析通常涉及大量数据处理,因此需要优化数据仓库的性能,...
3. 事实表设计:事实表是指数据仓库中的事实表,用于存储数据。 4. 度量值设计:度量值是指数据仓库中的度量值,用于度量业务指标。 在阿里集团数据研发体系中,数据模型设计规范也包括了数据模型的标准化和一致性...
数据仓库是集中存储历史和当前业务数据的系统,用于业务智能和分析目的。书中可能详细介绍了如何构建和维护这样的数据仓库结构。 5. **金融行业需求**:金融行业对数据的需求既广泛又复杂,包括风险管理、合规性、...
### KIS云旗舰版、专业版数据结构及案例分析——供应链 #### 一、系统参数 **T_systemprolfile** 系统参数表用于存储KIS云旗舰版中的核心配置信息,这些信息决定了系统的运行环境和功能设置。其中特别提到的`...
数据仓库是一种特殊类型的数据存储系统,专门用于支持业务智能(BI)和数据分析活动。多维数据模型是数据仓库设计中的核心组成部分,它提供了一种结构化的框架,使得用户能够从不同角度快速、有效地分析大量数据。 ...
数据仓库是银行信息化建设的重要组成部分,它用于存储历史数据,支持决策分析。本文档——"银行数据仓库数据模型设计规范"——详细阐述了在哈尔滨银行UDSF系统中进行数据模型设计的方法和规则,旨在确保数据仓库的...
传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的...
推荐,数据仓库建设学习资料合集,包含建设规范、架构、工具及模型等资料。共38份。 2021数据仓库服务常见问题-华为-51页 2021云数据仓库专业服务-华为-168页 阿里云数据中台-金融行业新一代数据仓库解决方案 ...
在数据仓库环境中,数据模型是核心,它定义了数据如何存储、组织和相互关联。Teradata FS-LDM作为针对金融服务行业的逻辑数据模型,被设计用来支持金融数据仓库的构建,它可以应用于各种不同的金融业务场景,如银行...
- **起源:** 数据仓库的概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出。 - **功能:** 将系统联机事务处理(OLTP)产生的大量数据通过特定的存储架构进行有系统的分析整理,以支持联机分析处理(OLAP)...
3. **数据存储层**:这是指用于长期保存数据的地方,一般包括数据库系统或者数据仓库等。数据在经过处理后会按照一定的规则存储在此层。 4. **数据应用层**:这一层主要是面向用户的,通过各种工具和服务将处理后的...
数据仓库维度建模实践模型设计 在数据仓库维度建模实践中,模型设计是非常重要的一步。它强调从业务、数据存取和使用角度合理存储数据,以满足企业数仓的要求:强稳定、高质量、高效率、低成本。 一、数据仓库维度...
### 数据库、数据仓库与数据模型详解 #### 数据库(Database) 数据库是指长期存储在计算机内的、有组织的、可共享的数据集合。它不仅包括存放数据的仓库本身,还包括与之相关联的数据管理软件(数据库管理系统)。...