`

数据仓库缓慢变化维度应对策略

 
阅读更多

缓慢变化维

建议仅考虑有分析价值的字段,采用策略记录其变化,否者直接进行UPDATE。


采用拉链表

添加增加有效开始时间,有效结束时间,最新版本标示字段。
比如客户表的婚姻状况发生变化,会新增一条记录,两条记录如下:

客户   婚姻状况  有效开始日期,有效结束日期,最新版本
客户A,未婚,    1988-01-01,  2014-09-24,    N
客户A,已婚,    2014-09-24,  9999-12-31,    Y

缺点:
当事实表与其关联时,需要根据交易日期判断所在范围进行关联,SQL效率比较差。

解决办法,
使用代理键,并在事实表中添加此字段,但此点会使ETL的处理逻辑变的复杂些。
或者在维度表添加版本号字段,并将此字段冗余到事实表中,这样也可以提高表的关联性能。


若维度表特别庞大,且字段变化特别频繁如何处理。若仍采用上面的方法,每次变化则新增一条记录,则势必维度表过于庞大。


建议的处理策略:

根据变化频率,将字段拆分为不变字段,偶尔发生变化字段,常发生变化字段
三种类型字段形成各自的表,不变字段的主表仍采用自然键作为主键,偶尔发生变化和常发生变化的表采用拉链表处理。
访问变化的字段仍需要判断时间范围进行判断。


或者将发生变化的字段,每个字段都单独摘出来形成一个微型维度,包含自己的关键字。
另外新增关联表,采用拉链表保存这些微型维度与主表的对应关系。 。

 

分享到:
评论

相关推荐

    数据仓库工具箱 维度建模权威指南 (第3版)

    《数据仓库工具箱 维度建模权威指南 (第3版)》是数据仓库领域的一本经典著作,它深入探讨了维度建模这一核心概念,为数据仓库的设计和实施提供了全面而实用的指导。维度建模是数据仓库设计中的关键方法,通过将业务...

    数据仓库-关于数据仓库维度数据处理的方法探究系列

    3. **剧烈变化维度**:数据频繁变化,如库存量、价格等,这类维度通常需要特殊处理,以避免数据仓库的频繁更新,可能会将其分解为多个缓慢变化维度进行管理。 ### 维度处理对策 维度的处理策略取决于业务需求和...

    数据仓库缓慢变化维解决方案

    缓慢变化维(Slowly Changing Dimensions,简称 SCD)是数据仓库和数据管理中一个重要的概念,指的是维度数据中的缓慢变化,例如客户信息、产品信息、地理位置等。缓慢变化维的处理是数据仓库设计和开发中的一个重要...

    数据仓库工具箱-维度建模权威指南-第3版

    《数据仓库工具箱——维度建模权威指南》第三版是一本深入探讨数据仓库设计与构建的专业书籍,尤其在维度建模领域提供了详尽的指导。维度建模是数据仓库设计的核心技术,它使得业务分析和决策支持变得更加高效、直观...

    数据仓库工具箱维度建模权威指南第3版_中英两版.zip

    从此,维度建模成为一种被广泛接受的表达数据仓库和商业智能(DW/BI)系统中数据的方法。该经典书籍被认为是维度建模技术、模式和最佳实践的权威资源。 这本《数据仓库工具箱(第3版)——维度建模权威指南》汇集了到...

    Informatica的缓慢维度变化

    缓慢维度变化是 Informatica 中的一种维度变化处理机制,用于处理实时数据变化的维度表。在本文中,我们将讨论 Informatica 中缓慢维度变化的原理和实现方法。 缓慢维度变化的定义是指在维度表中,随着时间的推移,...

    数据仓库日期维度表创建存储过程

    日期维度表是数据仓库中最常见的维度表之一,因为它在各种分析场景中都扮演着重要角色,如时间序列分析、趋势分析等。 日期维度表通常包含关于日期的各种属性,如年、季度、月、周、日、星期几、是否工作日、是否节...

    数据仓库维度建模实践-体系搭建-网易01.pdf

    首先,数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据建模是将数据进行有序、有结构地分类组织和存储的方法。 在数据仓库建设中,维度建模是主要的建模方法,维度...

    数据仓库—维度建模

    数据仓库—维度建模是IT领域中的一个重要主题,主要涉及数据仓库设计的一种核心方法——维度建模。数据仓库是企业级决策支持系统的基础,它整合了来自不同业务系统的数据,以便进行分析和报告。维度建模是构建数据...

    数据仓库工具箱 维度建模权威指南(第3版)

    此外,还可能涉及延迟加载、累积维度和缓慢变化维度的处理策略。 3. **事实表设计**:讨论如何选择和定义事实,包括度量的粒度、类型(离散、连续、累计等)以及如何处理异常值和缺失值。 4. **维度建模最佳实践**...

    数据仓库工具箱_维度建模权威指南_ 第3版

    《数据仓库工具箱_维度建模权威指南_ 第3版》是数据仓库领域的经典之作,专为那些希望深入了解和实践维度建模的读者提供全面的指导。这本书详细阐述了数据仓库设计的核心技术——维度建模,是提升数据仓库建设效率和...

    关于数据仓库维度数据处理的方法探究系列

    2. **缓慢变化维度**:这类维度虽然变化不大,但在数据仓库项目中仍需根据实际情况进行更新。 3. **剧烈变化维度**:这类维度变化非常频繁,通常需要特殊处理,如拆分成多个缓慢变化维度。 #### 三、维度数据处理...

    数据仓库工具箱 维度建模权威指南 第3版

    由于提供的文件内容并非与数据仓库工具箱维度建模权威指南相关的内容,而是一段关于提供各种书籍PDF下载的广告信息,因此无法直接从这部分内容中提炼出有关维度建模的知识点。 不过,既然文件的标题和描述指明了是...

    数据仓库工具箱完全指南 合集 4 本

    书中可能详细介绍了星型模式、雪花模式以及桥接表等常见维度建模结构,并讨论了如何选择合适的粒度,如何处理缓慢变化的维度,以及如何进行维度规范化和反规范化等技术。 "数据仓库生命周期工具箱:设计、开发、...

    数据仓库工具箱:维度建模的完全指南.rar

    8. **维度的缓慢变化**:处理维度数据随时间变化的方法,如类型1、类型2和类型3的变化。 9. **性能优化**:了解如何通过索引、分区和物化视图等技术提升查询性能。 10. **ETL过程**:数据仓库构建中的重要一环,...

Global site tag (gtag.js) - Google Analytics