`
superlxw1234
  • 浏览: 551273 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44433
社区版块
存档分类
最新评论

数据仓库数据模型之:极限存储--历史拉链表

阅读更多

在数据仓库的数据模型设计过程中,经常会遇到这样的需求:


1. 数据量比较大;
2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,
   比如,查看某一个用户在过去某一段时间内,更新过几次等等;
4. 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;
5. 如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;


拉链历史表,既能满足反应数据的历史状态,又可以最大程度的节省存储;

举个简单例子,比如有一张订单表,6月20号有3条记录:

订单创建日期

订单编号

订单状态

2012-06-20

001

创建订单

2012-06-20

002

创建订单

2012-06-20

003

支付完成

 

到6月21日,表中有5条记录:

 

订单创建日期

订单编号

订单状态

2012-06-20

001

支付完成(从创建到支付)

2012-06-20

002

创建订单

2012-06-20

003

支付完成

2012-06-21

004

创建订单

2012-06-21

005

创建订单

 

到6月22日,表中有6条记录:

 

订单创建日期

订单编号

订单状态

2012-06-20

001

支付完成(从创建到支付)

2012-06-20

002

创建订单

2012-06-20

003

已发货(从支付到发货)

2012-06-21

004

创建订单

2012-06-21

005

支付完成(从创建到支付)

2012-06-22

006

创建订单

 

 

数据仓库中对该表的保留方法:

 

1. 只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;

2. 每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;

 

如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:

 

 

订单创建日期

订单编号

订单状态

dw_begin_date

dw_end_date

2012-06-20

001

创建订单

2012-06-20

2012-06-20

2012-06-20

001

支付完成

2012-06-21

9999-12-31

2012-06-20

002

创建订单

2012-06-20

9999-12-31

2012-06-20

003

支付完成

2012-06-20

2012-06-21

2012-06-20

003

已发货

2012-06-22

9999-12-31

2012-06-21

004

创建订单

2012-06-21

9999-12-31

2012-06-21

005

创建订单

2012-06-21

2012-06-21

2012-06-21

005

支付完成

2012-06-22

9999-12-31

2012-06-22

006

创建订单

2012-06-22

9999-12-31

 

 

说明:

 

1. dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;

2. dw_end_date = '9999-12-31'表示该条记录目前处于有效状态;

3. 如果查询当前所有有效的记录,则select * from order_his where dw_end_date = '9999-12-31'

4. 如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date <= '2012-06-21' and end_date >= '2012-06-21',这条语句会查询到以下记录:

 

订单创建日期

订单编号

订单状态

dw_begin_date

dw_end_date

2012-06-20

001

支付完成

2012-06-21

9999-12-31

2012-06-20

002

创建订单

2012-06-20

9999-12-31

2012-06-20

003

支付完成

2012-06-20

2012-06-21

2012-06-21

004

创建订单

2012-06-21

9999-12-31

2012-06-21

005

创建订单

2012-06-21

2012-06-21

 

 

和源表在6月21日的记录完全一致:

 

订单创建日期

订单编号

订单状态

2012-06-20

001

支付完成(从创建到支付)

2012-06-20

002

创建订单

2012-06-20

003

支付完成

2012-06-21

004

创建订单

2012-06-21

005

创建订单

 

 

可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源;

 

关于这种历史拉链表的etl刷新策略和方法,下次再谈吧。。。

 

 

1
0
分享到:
评论
5 楼 lookqlp 2015-11-02  
请问,001订单,在3号又出现新的状态,同一个订单dw_end_date岂不是有多个9999-12-31
4 楼 huigou 2014-03-01  
历史拉链表的etl刷新策略和方法,这个很关键啊,如果一个订单状态变化级别是分,或者是秒,你们是怎么做的?
3 楼 tobyqiu 2013-05-16  
随着数据的增多. 每天这么几千万条做对比.消耗也吃不消. 还不如 全量递增.
2 楼 liuxuan251314 2013-04-26  
楼主 我还期待着你的下篇“历史拉链表的etl刷新策略和方法”呢 。。。。
1 楼 xrzs1986 2012-12-11  
期待楼主继续介绍“历史拉链表的etl刷新策略和方法”~ 

相关推荐

    基于YoloV4-pytorch实现的训练模型

    | :-----: | :-----: | :------: | :------: | :------: | :-----: | | VOC07+12+COCO | [yolo4_voc_weights.pth] | VOC-Test07 | 416x416 | - | 89.0 | COCO-Train2017 | [yolo4_weights.pth] | COCO-Val2017 | ...

    pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar

    AggDesigner是Kettle工具集的一部分,专门用于创建和管理数据仓库中的聚合表,也称为汇总表或维度表。这些表包含预先计算好的统计信息,能够显著提升分析查询的速度。 在5.1.5-jhyde版本中,AggDesigner可能包含...

    数据流图试题(卷)与答案解析.doc

    在数据流图中,外部实体代表系统之外的参与者,数据存储表示系统内部的数据资源,数据流则表示数据的传输和处理过程。通过对这些元素的理解,可以清晰地理解系统的业务流程和信息传递方式,从而更好地进行系统设计和...

    数据流图试题及答案.doc

    【问题 1】 在数据流图中,外部实体(External Entity)表示系统之外与系统交互的实体。...这些数据流图和说明展示了信息系统如何处理数据,包括输入、处理、存储和输出,以支持特定业务流程,如成绩管理和销售管理。

    数据仓库生命周期工具箱:设计、开发、配置数据仓库的专家方法

    - **数据仓库**:一种用于收集和管理企业内部历史数据的系统,以便进行决策支持分析。 - **生命周期**:从规划、设计、实施到维护整个数据仓库过程中的各个阶段。 - **工具箱**:指的是在数据仓库建设过程中使用的...

    基于财务数据分析的数据仓库模型

    - 数据模型的合理性:数据模型设计要考虑到财务数据的特点,合理设计事实表和维度表,确保数据仓库的可扩展性和灵活性。 - 数据仓库的性能:由于财务数据分析通常涉及大量数据处理,因此需要优化数据仓库的性能,...

    阿里集团数据研发体系-数据模型设计规范.docx

    3. 事实表设计:事实表是指数据仓库中的事实表,用于存储数据。 4. 度量值设计:度量值是指数据仓库中的度量值,用于度量业务指标。 在阿里集团数据研发体系中,数据模型设计规范也包括了数据模型的标准化和一致性...

    Teradata金融数据模型( FS-LDM)V10.0 BOOK-1.rar

    数据仓库是集中存储历史和当前业务数据的系统,用于业务智能和分析目的。书中可能详细介绍了如何构建和维护这样的数据仓库结构。 5. **金融行业需求**:金融行业对数据的需求既广泛又复杂,包括风险管理、合规性、...

    KIS云旗舰版、专业版数据结构及案例分析-供应链.pptx

    ### KIS云旗舰版、专业版数据结构及案例分析——供应链 #### 一、系统参数 **T_systemprolfile** 系统参数表用于存储KIS云旗舰版中的核心配置信息,这些信息决定了系统的运行环境和功能设置。其中特别提到的`...

    数据仓库多维数据模型的设计.docx

    数据仓库是一种特殊类型的数据存储系统,专门用于支持业务智能(BI)和数据分析活动。多维数据模型是数据仓库设计中的核心组成部分,它提供了一种结构化的框架,使得用户能够从不同角度快速、有效地分析大量数据。 ...

    银行数据仓库数据模型设计规范

    数据仓库是银行信息化建设的重要组成部分,它用于存储历史数据,支持决策分析。本文档——"银行数据仓库数据模型设计规范"——详细阐述了在哈尔滨银行UDSF系统中进行数据模型设计的方法和规则,旨在确保数据仓库的...

    数据仓库中的拉链表-Clickhouse实现.pdf

    传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的...

    【推荐】数据仓库建设学习资料合集(38份).zip

    推荐,数据仓库建设学习资料合集,包含建设规范、架构、工具及模型等资料。共38份。 2021数据仓库服务常见问题-华为-51页 2021云数据仓库专业服务-华为-168页 阿里云数据中台-金融行业新一代数据仓库解决方案 ...

    Teradata-FS-LDM-模型介绍与建模过程-经典收藏.pdf

    在数据仓库环境中,数据模型是核心,它定义了数据如何存储、组织和相互关联。Teradata FS-LDM作为针对金融服务行业的逻辑数据模型,被设计用来支持金融数据仓库的构建,它可以应用于各种不同的金融业务场景,如银行...

    企业数仓建设体系.pptx

    - **起源:** 数据仓库的概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出。 - **功能:** 将系统联机事务处理(OLTP)产生的大量数据通过特定的存储架构进行有系统的分析整理,以支持联机分析处理(OLAP)...

    数据采集与整合需求分析.pdf

    3. **数据存储层**:这是指用于长期保存数据的地方,一般包括数据库系统或者数据仓库等。数据在经过处理后会按照一定的规则存储在此层。 4. **数据应用层**:这一层主要是面向用户的,通过各种工具和服务将处理后的...

    数据仓库维度建模实践-模型设计-网易03.pdf

    数据仓库维度建模实践模型设计 在数据仓库维度建模实践中,模型设计是非常重要的一步。它强调从业务、数据存取和使用角度合理存储数据,以满足企业数仓的要求:强稳定、高质量、高效率、低成本。 一、数据仓库维度...

    数据库 数据仓库 数据模型

    ### 数据库、数据仓库与数据模型详解 #### 数据库(Database) 数据库是指长期存储在计算机内的、有组织的、可共享的数据集合。它不仅包括存放数据的仓库本身,还包括与之相关联的数据管理软件(数据库管理系统)。...

Global site tag (gtag.js) - Google Analytics