`

数据分类与数据模型

 
阅读更多

最近几年太忙了,一直没时间写博客,希望开始写,主要是数据方面的,今天先说说数据分类和数据模型。

 

主数据:主数据是指组织里的人,地点和事务。比如:客户,供应商,产品,设备等。一般这种数据会跨越多个业务流程多信息系统共享。

 

参考数据:就是我们常说的代码表,编程里的枚举,比如国家代码,性别,会计科目,订单的状态,像国家代码,会计,性别这些是非组织所特有,而像订单状态,可能每个组织都不一样,和自己业务相关。

 

交易数据:组织用来记录主数据之间发生的业务事件,比如客户购买产品行为,是发生在客户和产品之间的购买业务事件,典型的交易数据,比如订单,货运单,采购订单,申请单等。

 

元数据:元数据又称“数据的数据”,一种是技术元数据,比如表名,字段,长度,类型,用来描述数据模型;一种是业务元数据,用来描述数据处理过程,比如ETL过程,用来描述有哪些报表可以使用的报表元数据。

 

下面说说数据模型,什么是数据模型呢?人们习惯于依赖模型获取对事物的直观的理解。常见的对数据模型按照描述详细程度分为三种,分别是概念数据模型,逻辑数据模型,以及物理数据模型。

概念数据模型:粗粒度的描述概念和概念之间的关系。一个普通电子商务网站的核心概念,就是客户,商品,订单,物流商。概念数据模型并不包含字段。

逻辑数据模型:逻辑数据模型不仅包含概念,而且细化了数据,要详细描述实体的字段。逻辑模型是严格三范式以上的,逻辑数据模型能将数据的本质关联关系表达清楚。

物理数据模型:这个时候,物理数据模型就是特定平台了,比如oracle,mysql,字段类型是什么,逻辑模型里的字段都会在物理模型中找到,物理模型也会添加和业务本身没关,但跟应用处理相关的,比如创建时间,修改时间。同样物理模型也要考虑性能问题,考虑所以该如何建立。

 

概念理解不清楚,可能会导致逻辑模型不清晰,业务发展时,物理模型会发生很大的改动,比如“渠道”这个概念,一开始理解:“渠道就是订单从哪里创建的”,设计的时候就在订单表里加了一个渠道字段,后来发现,一个订单可能来自多个渠道,因为渠道可能有多级代理商,这个时候一个渠道字段就无法记录了,导致模型扩展非常困难。

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    三维空间数据模型与数据结构.pptx

    三维空间数据模型与 数据结构专业:地图学与地理信息系统姓名:张小强 三维空间数据模型与数据结构全文共28页,当前为第1页。 提纲 1基本概念 2三维空间数据模型 3疑问 三维空间数据模型与数据结构全文共28页,当前...

    阿里集团数据研发体系-数据模型设计规范.docx

    阿里集团数据研发体系-数据模型设计规范 阿里集团数据研发体系-数据模型设计规范是阿里集团数据研发团队制定的数据模型设计规范。该规范旨在统一和标准化阿里集团内部的数据模型设计,确保数据的一致性和可重用性。...

    中国联通IT系统数据架构规范_第一分册_企业数据模型分册

    中国联通IT系统数据架构规范_第一分册_企业数据模型分册 以下是根据提供的文件信息生成的相关知识点: 企业数据模型是中国联通IT系统数据架构规范的重要组成部分,该规范旨在为中国联通企业提供一个统一的数据架构...

    阿里研究院:2024大模型训练数据白皮书.pdf

    多模态模型是指能够同时处理多种类型数据(如图像、视频、文本等)的模型。这类模型在训练时需要综合多种模态的数据,例如图像识别任务中的图片数据加上相应的文字描述。这种跨模态的数据组合有助于模型更好地理解和...

    数据模型资源手册中文版卷1+卷2

    卷2可能侧重于更高级的主题,如多对多关系的处理、继承和分类的概念、视图集成、时间序列数据模型以及如何处理复杂的数据类型,比如XML和JSON。此外,它可能会探讨如何进行数据模型的审查和优化,以适应不断变化的...

    基于DSMM模型的数据安全评估模型研究与设计.docx

    基于DSMM模型的数据安全评估模型研究与设计 本文旨在研究基于DSMM模型的数据安全评估模型,旨在解决当前数据安全评估中存在的理论体系不完善、执行标准不健全等问题。本文通过研究DSG框架和DSMM模型,提出了一种...

    数据挖掘分类模型原理与实例分析.pdf

    分类模型是数据挖掘中的一种预测建模工具,它将样本数据的特征与类标签进行匹配,训练出一个模型,进而根据模型对未知数据进行分类。在实际应用中,分类模型常用于市场细分、信用评分、疾病诊断以及天气预测等场景。...

    数据模型资源手册-英文版_数据模型资源_

    概念数据模型主要关注业务实体和它们之间的关系,逻辑数据模型则进一步细化,包括数据类型的定义和更精确的关系结构,而物理数据模型考虑了数据库的实际存储和性能优化。 在“Data Model Resource Book”中,你可以...

    矿泉水数据集datasets和分类模型

    总的来说,这个矿泉水数据集和分类模型的研究涵盖了数据预处理、特征工程、模型选择、模型训练与评估等多个关键环节,这些都是数据科学和机器学习中的基础技能。通过这样的实践,我们可以深入理解各种算法的工作原理...

    数据模型资源手册卷3

    《数据模型资源手册卷3》是一本专注于数据库建模的专业资料,它作为前两卷的深化和提炼,为读者提供了全面而深入的数据模型设计知识。本手册覆盖了多个关键概念和实践,旨在帮助读者理解并掌握如何有效地设计和构建...

    数据库原理 数据模型概述

    数据模型的分类 数据模型的种类很多,目前被广泛使用的可分为两种类型:概念模型和结构模型。概念模型是一种独立于计算机系统的数据模型,它完全不涉及信息在计算机系统中的表示。概念模型用于建立信息世界的数据...

    附件:《证券期货业数据模型_第1部分:抽象模型设计方法》.pdf

    机构多、类型广、交易方式多样,机构内及机构间数据交换频繁、 业务发展迅速,为提高数据交换效率、规范行业机构数据应用系统建设、提升行业数据标准化水平,证 券期货行业组织开展了行业数据模型建设工作,...

    IBM数据仓库需求建模方法及行业数据仓库模型

    综合来看,IBM数据仓库需求建模方法及行业数据仓库模型的介绍强调了数据仓库解决方案的端到端实施,以及针对不同行业的特定数据模型。同时,也凸显了在当前快速变化的市场和技术环境下,企业需要依赖数据仓库来优化...

    关于数据仓库的数据模型的思考

    在构建数据仓库的过程中,数据模型扮演着至关重要的角色,它直接决定了数据仓库的性能、可维护性和业务适应性。 首先,我们需要理解数据仓库的三级数据模型结构。概念模型,也称为业务模型,是基于企业决策者、商务...

    中国电信计费模型:数据模型

    中国电信的计费模型数据模型是一套复杂而全面的体系,旨在有效管理和处理电信服务的计费、账务以及客户服务等多个方面。模型分为多个章节,包括产品域模型、客户域模型、定价域模型、计费事件域模型和账务域模型,...

    数据挖掘原理与SPSS Clementine应用-数据挖掘的体系结构与模型

    接下来,数据挖掘阶段通过各种算法(如分类、聚类、关联规则学习等)发现隐藏模式。模式评估则对这些发现的模式进行验证和筛选,确保其意义和可信度。最后,知识表示将挖掘出的模式以人类可理解的形式呈现,以便决策...

    量化投资 交易模型开发与数据挖掘.pptx

    量化投资交易模型开发与数据挖掘知识点 量化投资是指通过运用统计学、计算机科学、金融学等方法,从数据中寻找投资策略,以实现资产最优配置和风险最小化的投资方式。近年来,随着大数据和技术的发展,量化投资...

Global site tag (gtag.js) - Google Analytics