数据模型是指实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义,命名和编码,主要描述企业的信息需求和业务规则,是业务人员和开发人员沟通的语言,是数据仓库设计工作的第一步。数据模型可以划分为概念模型、逻辑模型、物理模型。
一、概念模型
从定义上来说,概念模型是最高层次的数据模型,反映了数据仓库的主要主题和重要业务之间的关系。一般来说,在进行数据仓库系统设计和开发之前,设计开发人员和业务人员已经对概念模型达成了共识,因为概念模型反映的是核心的业务问题。概念模型设计步骤如下:
- 从业务需求中提取重要的业务数据主题,包括对业务数据主题的详细解释;
- 从业务数据主题的基础上进行数据主题域的划分,包括对数据主题域的详细解释;
- 划分主题域概念模型:根据数据主题域的划分,细化内部的组织结构和业务关系。
概念模型建模的流程大致可以划分成如下几个部分:通过对业务系统的详细说明,进行数据的梳理,列出数据主题详细的清单,并对每个数据主题都作出详细的解释,然后经过归纳、分类,整理成各个数据主题域,列出每个数据主题域包含哪些部分,并对每个数据主题域作出详细解释,最后划分成主题域概念模型。
二、逻辑模型
从定义上讲,逻辑模型是以概念模型为基础,对概念模型的进一步细化、分解。逻辑模型通过实体和实体之间的关系描述业务的需求和系统实现的技术领域,是业务需求人员和技术人员沟通的桥梁和平台。 逻辑模型的设计是数据仓库实施中最重要的一步,因为他直接反应了业务部门的实际需求和业务规则,同时对物理模型的设计和实现具有指导作用。他的特点就是通过实体和实体之间的关系勾勒出整个企业的数据蓝图和规则。 概念模型的主题域一般是从企业现有的信息系统和行业自身业务活动汇总的来的业务模型主题域。而逻辑模型除了在概念模型的基础上丰富和细化主题域,并且确定每个主题域包含哪些主题外,还需要:
- 分析需求,列出需求分析的主题,需求目标、维度指标、维度层次、分析的指标、分析的方法、数据的来源、关注的对象等。
- 选择用户感兴趣的数据,通过业务需求将需要分析的指标分离抽取出来,转化成逻辑模型需要的实体。
- 在实体中需要增加时间戳属性,因为实体中需要保存哥哥阶段的历史数据。通常情况下,如果实体为同一编码,则不需要增加时间戳属性。
- 需要考虑粒度层次的划分。数据仓库的粒度层次划分直接影响了数据仓库模型的设计,通常细粒度的数据模型直接从企业模型选取实体作为逻辑模型的实体,而粗粒度的数据模型需要经过汇总计算得到相应的实体。粒度决定了企业数据仓库的实现方式、性能、灵活性和数据仓库的数据量。
- 在粒度层次划分的基础上,还需要进行关系模式的定义,形成各个实体、实体属性、实体之间的关系等内容。同时在逻辑模型框架的基础上对实体的中英文名称、属性、属性的值域进行明确、完善和细化,真实反映业务逻辑关系和业务规则。
三、物理模型
在逻辑模型的基础上,为应用生产环境选取一个合适的物理结构的过程,包括合适的存储结构和存储方法,称作物理模型的设计过程。逻辑模型转变为物理模型包括以下几个步骤:
- 实体名(Entity)变为表名(table)
- 属性名(attribute)转换为列明(column),确定列的属性(Property)
- 物理模型必须对列的属性进行明确的定义,包括:列名、数据类型
- 物理模型确定后,还可以进一步确定数据存放位置和存储空间的分配。
四、概念模型、逻辑模型和物理模型的区别
相关推荐
维度建模是指根据业务需求,定义和设计数据仓库的维度模型的过程。维度模型是数据仓库的核心部分,它定义了数据仓库的结构和内容。 在阿里集团数据研发体系中,维度建模主要包括以下几个步骤: 1. 业务需求分析:...
* 设计模型 四、模型设计方法论 在模型设计中,我们需要遵循一些基本原则和设计方法。这些原则包括: * 高内聚低耦合 * 核心模型与扩展模型分离 * 公共处理逻辑下沉 * 成本与性能平衡 * 数据可回滚 * 一致性 * ...
数据仓库是一种特殊设计的数据库系统,其主要目的是为了支持决策制定和数据分析。它与传统的在线事务处理(OLTP)系统不同,数据仓库更注重历史数据的存储和分析,而非实时的事务操作。在这个主题中,我们将深入探讨...
数据治理及数据仓库模型设计 搜狐智能媒体在数据仓库体系建设中的技术实践 元数据管理在数据仓库的实践应用 Hadoop数据仓库实践 IBM Netezza 数据仓库设备架构 SaaS模式云数据仓库实践手册 58交易营销数据仓库建设 ...
数据仓库模型设计说明书 数据仓库模型设计是数据仓库建设的核心步骤之一,它涉及到数据仓库的设计、实现和维护。下面是数据仓库模型设计的相关知识点: 一、数据仓库模型设计概述 数据仓库模型设计是指根据业务...
通过学习《数据仓库》这份资料,初学者可以逐步了解数据仓库的核心概念、设计原则、实施流程以及如何利用其进行有效的数据分析。结合实践案例,有助于加深理解,为后续的深入学习和实际应用打下坚实基础。
数据仓库模型设计是构建数据仓库的关键步骤,它与传统的数据库系统设计有所不同,主要面向数据分析而非日常事务处理。数据仓库模型设计主要包括概念模型、逻辑模型和物理模型三个层次,旨在确保数据的一致性、完整性...
- **Repository Assistant**:辅助设计数据仓库模型。 - **项目管理**:管理项目文件和版本控制。 - **ETL 流程设计**:构建数据抽取、转换、加载流程。 - **脚本生成**:自动生成SQL脚本。 - **性能优化**:提供...
### 数据仓库的模型设计 #### A. 数据建模方法论 **数据仓库模型设计**遵循“自顶向下、逐步求精”的设计原则。这一过程主要包括三个阶段:概念模型、逻辑模型以及物理模型。 ##### 1. 概念模型 概念模型是对...
- **概念模型设计**: 概念模型设计是整个数据仓库设计的基础,主要包括星型模型和雪花型模型的设计。这些模型可以帮助理解数据之间的关系,并为后续的数据仓库建立提供框架。 - **逻辑模型设计**: 包括分析主题域、...
数据仓库中的逻辑数据模型设计 ---- 论文
- 数据模型的合理性:数据模型设计要考虑到财务数据的特点,合理设计事实表和维度表,确保数据仓库的可扩展性和灵活性。 - 数据仓库的性能:由于财务数据分析通常涉及大量数据处理,因此需要优化数据仓库的性能,...
数据仓库模型设计说明书模板是构建高效、稳定且符合业务需求的数据仓库系统的关键文档。这份文档不仅为项目的参与者提供了清晰的设计蓝图,还确保了在开发过程中能够遵循统一的标准和最佳实践。下面将根据提供的标题...
神策分析的数据接口及部署示意图显示了该产品的架构设计,包括数据概览、事件分析、漏斗分析、留存分析、数据仓库等模块。该产品还具有完全开放的数据接口,可以扩展实现接入任意数据源的数据,并且提供了实时订阅...
Teradata FS-LDM(Financial Services Logical Data Model)就是这样一个经过精心设计的金融逻辑数据模型,它支持数据仓库的构建,并帮助金融机构应对多样化的数据需求和业务挑战。 数据模型(DM)是指用来定义数据...
- 关于Oracle数据仓库的架构设计,包括数据仓库架构模型的创建。 - 工作流程管理,如何通过流程优化数据仓库的使用体验。 - 数据仓库的高级特性,例如数据挖掘和OLAP的集成。 整个数据仓库实践过程涵盖了从数据抽取...
《金融业逻辑数据模型-数仓十大主题-LDM-财务主题》文档主要涵盖了银行财务主题的逻辑数据模型设计,这是构建金融业数据仓库的重要组成部分。本文档深入解析了财务主题中的核心概念、实体、关系及其在财务管理中的...