数据仓库接典型的两种数据仓库建模的理论是维度建模和基于主题域的实体关系建模,这两种方式分别以Kimball和Immon两位大师为代表。
Kimball:维度建模以数据分析需求为驱动,倡导总线架构:一致的事实和一致的维度,这种数据模型易于用户理解和数据分析操作。
Immon:基于主题域的实体关系建模以源系统数据为驱动,整合企业的所有数据,站在企业级的高度对数据进行抽象,整合,采用3NF的实体关系理论建模,这种数据建模方式以更为抽象的方式尝试建立一个相对稳定的数据模型,并能描述企业级的数据关系。
优劣
1. 对于涉及多表连接以及聚合计算的查询请求,关系模型不如维度模型查询效率高
2. 维度模型更适合作为分析型应用(OLAP、BI)的基础——易用,易理解,查询效率高
3. 关系模型更适于频繁update、insert的应用(事务型应用)
在实践中往往把两种方式结合起来运用数据仓库的不同数据层次结构中。
针对采用基于主题域的实体关系建模中数据整合的方式三种思路:
以属性聚集的方式同一主题域中不同实体的属性。比如对于会员、公司、客户等等实体对象我们都有地址属性信息、名称标识属性信息等等,这种思路就是把属性内聚性高的字段整合在一起,并把不同的属性打上类型标识以树表的形式存放。
它的优点是:
第一,模型稳定性好,外围系统变化了字段,只需要添加不同的类型,不需要进行表结构的变更;
第二,减少大量冗余记历史数据。它的缺点是:第一,丢失了很多实体的属性标识信息,我们从模型上将看不到一个会员究竟有哪些地址属性,只能通过查询类型代码才能获取这些信息;它极度的膨胀数据表的记录数,因为它采用竖表的形式存放;
第三,应用起来很难,效率是一个大问题,因为我们往往要使用一个实体的多个字段,就会有很多join操作和竖转横的操作。
第四:属性聚集也是一件比较难操作的过程,应为这是一个抽象的过程,对建模人员的业务背景知识和抽象能力都提出了很高的要求;
第五:虽然减少了冗余的记历史数据,但是记历史的操作也较为复杂。
采用面向对象建模的方式,抽象不同实体的共同属性,然后再一步步采用继承、组合等面向对象的思想具体化实体。他的优点是模型模型概念比较清晰,缺点也是模型相对不是很稳定,整合后的数据的后续应该也面临重新组合的问题。
贴源的建模方式:
采用基本保持源系统的方式进行建模,重点放在数据的标准化,一致化,和数据业务意义的梳理。这种做法和我们目前数据仓库的做法比较类似。它具有实施比较容易,快速实现,前台可以直接使用数据;缺点是整合度不高,模型不稳定。
相关推荐
维度建模是指根据业务需求,定义和设计数据仓库的维度模型的过程。维度模型是数据仓库的核心部分,它定义了数据仓库的结构和内容。 在阿里集团数据研发体系中,维度建模主要包括以下几个步骤: 1. 业务需求分析:...
* DIM:所有实体的维度,云音乐含有不同身份的用户和多种类的内容实体,所以会有大量的维度模型 * ADS:数据集市层。基于DWS和DIM表,云音乐建设了大量面向应用的数据集市。 三、建模流程 在建模流程中,我们需要...
在数据仓库建设中,维度建模是主要的建模方法,维度模型是由Ralph Kimball所倡导的。大师著作的《The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling》是数仓工程领域最流行的维度建模经典。 ...
《数据仓库工具箱——维度建模权威指南》第三版是一本深入探讨数据仓库设计与构建的专业书籍,尤其在维度建模领域提供了详尽的指导。维度建模是数据仓库设计的核心技术,它使得业务分析和决策支持变得更加高效、直观...
数据仓库-维度建模
理论基础部分包括抽象、原理、模型、模式等,以及企业能力成熟度模型、数据关系模型、维度建模等。在数据收集方面,课程将介绍如何使用Excel和PowerQuery进行ETL操作,包括数据的收集、转换和加载。在建模方面,课程...
《维度建模—数据仓库工具包 第二版》是数据仓库领域的权威著作,由Ralph Kimball和Margy Ross合著,John Wiley & Sons出版社出版。本书被业界誉为数据仓库构建与理解的关键指南,其核心在于阐述了维度建模...
数据建模分为概念数据模型(CDM)、逻辑数据模型(LDM)和物理数据模型(PDM)。概念模型主要关注业务实体及其关系,逻辑模型进一步细化这些实体和关系,并定义属性,而物理模型则关注如何在特定数据库管理系统...
《数据仓库工具箱 维度建模权威指南 (第3版)》是数据仓库领域的一本经典著作,它深入探讨了维度建模这一核心概念,为数据仓库的设计和实施提供了全面而实用的指导。维度建模是数据仓库设计中的关键方法,通过将业务...
维度建模是数据仓库设计的核心方法之一,主要目的是为了更好地支持商业智能(BI)和数据分析。以下是关于维度建模的一些详细知识点: 1. **基础术语**: - **数据仓库**:是为分析和报告而设计的一种特殊类型的...
ER模型基于实体、属性和关系的概念,用于描绘数据之间的联系,广泛应用于OLTP系统设计和数据仓库的底层建模。实体表示参与事务的主体,属性描述实体的特征,关系则反映实体之间的关联。ER模型通过不同的图形符号...
本书采用新的思路和最佳实践对上一版本进行了全面修订,给出了设计维度模型的全面指南,既适合数据仓库新手,也适合经验丰富的专业人员。 《数据仓库工具箱(第3版)——维度建模权威指南》涉及的所有技术都基于作者...
《金融业逻辑数据模型-数仓十大主题-LDM-财务主题》文档主要涵盖了银行财务主题的逻辑数据模型设计,这是构建金融业数据仓库的重要组成部分。本文档深入解析了财务主题中的核心概念、实体、关系及其在财务管理中的...