`
weitao1026
  • 浏览: 1059543 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

DB、ETL、DW、OLAP、DM、BI关系结构图

 
阅读更多

DB、ETL、DW、OLAP、DM、BI关系结构图

在此大概用口水话简单叙述一下他们几个概念:

(1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db。


(2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,都拍一张照片,天天这样,这些照片放入到一个相册中,之后就可以查看每一天的状态了,这个相册就是数据仓库,他保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,就便于我们做统计分析了。


(3)ETL/Extraction-Transformation-Loading——用于完成DB到DW的数据转存,它将DB中的某一个时间点的状态,“抽取”出来,根据DW的存储模型要求,“转换”一下数据格式,然后再“加载”到DW的一个过程,这里需要强调的是,DB的模型是ER模型,遵从范式化设计原则,而DW的数据模型是雪花型结构或者星型结构,用的是面向主题,面向问题的设计思路,所以DB和DW的模型结构不同,需要进行转换。 
(4)OLAP——在线分析系统,简单说就是报表系统,销售报表,统计报表,等等,这个大家都熟悉,当然,OLAP的统计要更复杂更丰富一些,比如切面,钻取等等。 
(5)DM/Data Mining/数据挖掘——这个挖掘,不是简单的统计了,他是根据概率论的或者其他的统计学原理,将DW中的大数据量进行分析,找出我们不能直观发现的规律,比如,如果我们每天早上照相,量身材的时候,还记录下头一天吃的东西,黄瓜,猪腿,烤鸭,以及心情,如果记录上10年,形成了3650天的相貌和饮食心情的数据,我们每个人都记录,有20万人记录了,那么,我们也许通过这些记录,可以分析出,身材相貌和饮食的客观规律;再说一个典型的实例,就是英国的超市,在积累了大量数据之后,对数据分析挖掘之后,得到了一个规律:将小孩的尿布和啤酒放在一起,销量会更好——业务专家在得到该结论之后,仔细分析,知道了原因,因为英国男人喜欢看足球的多,老婆把小孩介绍男人看管,小孩尿尿需要尿布,而男人看足球喜欢喝酒,所以两样商品有密切的关系,放在一起销售会更好!

 

 


(6)BI/Business Intelligence/商业智能——领导,决策者,在获取了OLAP的统计信息,和DM得到的科学规律之后,对生产进行适当的调整,比如,命令超市人员将啤酒喝尿布放在一起销售,这就反作用于DB修改存货数据了——这就是整个BI的作用!


信息技术经过近20年的大力发展,很多行业积累了很多珍贵的数据,真正的大数据时代到来了,也逐渐体现出 DB-ETL-DW-OLAP-DM-BI这条线路的重要性,希望大家能懂得这个大数据时代的价值,把握住机遇,有更加美好的未来!

 

ODS:操作型数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统数据库数据结构是怎样的,ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史,所以ODS数据库中每张表都会增加一个日期类型,表示数据的时点,将每天数据的变化情况都存下来,这样有利于数据的分析。

数据仓库:简称EDW,企业级数据仓库,现在大家都在说的就是这个。所不同的是每个行业的EDW都有一个通用的数据模型,结构精简,扩展性强,应用性强,数据模型不像ODS乃样会有很大的冗余。

数据集市:简称DM,以某个应用为出发点而建设的局部DW,为什么这么说,DM只关心自己需要的数据。不会全盘考虑企业整体的数据架构和应用,每个应用都有自己的DM。所以DM可以基于仓库建设也可以独立建设。

分享到:
评论

相关推荐

    ETL,DW/BI的基石

    在数据仓库和商业智能(DW/BI)的领域中,ETL(Extract-Transform-Load,抽取-转换-加载)是构建整个数据体系的基石。ETL过程涉及到从不同的源系统中抽取数据,对数据进行必要的转换处理,最终将数据加载到数据仓库...

    HCIP-GaussDB-OLAP V1.0 培训教材_培训教材_gaussdbOLAP培训_GAUSSDB_

    【HCIP-GaussDB-OLAP V1.0 培训教材】是华为认证的信息技术专家课程,专注于GaussDB-OLAP平台的详细学习。这个培训教材旨在帮助学员掌握GaussDB-OLAP的核心技术和应用,为大数据分析与处理提供专业能力。GaussDB是...

    数据仓库ETL工具箱中文版(Data warehouse ETL Toolkit)—BI/DW项目的经典之作

    《数据仓库ETL工具箱中文版(Data Warehouse ETL Toolkit)》是一本专注于BI(商业智能)和DW(数据仓库)项目的数据提取、转换和加载(ETL)过程的专著。本书属于Kimball数据仓库系列,该系列以其深入浅出的方法和...

    HCIP-GaussDB-OLAP V1.5视频.zip

    目录网盘文件永久链接 1.1.1 数据仓库概述 1.2.1 GaussDB(DWS)产品架构 1.3.1 GaussDB(DWS)关键特性 1.4.1 GaussDB(DWS)产品功能 ...6.5.1 ETL工具 7.1.1 SQL on anywhere 7.2.1 全文检索 7.3.1 PostGIS Extension

    ETL工具以及BI产品

    数据清洗是确保数据质量的关键步骤,虽然在移动集团公司的网络管理场景中,由于数据主要来自不同厂家设备的状态和系统日志,可能不需要大规模的数据清洗,但ETL工具仍然不可或缺,因为它可以统一和整合这些非结构化...

    BI 项目中ETL 设计与探究

    ### BI项目中ETL设计与探究 #### 一、引言 随着信息技术的发展,企业面临着海量数据管理和利用的挑战。商业智能(Business Intelligence,简称BI)作为一种将企业现有数据转化为可利用知识的重要工具,旨在帮助...

    详解BI项目中的ETL

    ETL,全称为Extract, Transform, Load,是数据仓库(DW)建设中不可或缺的一个关键步骤。在BI(Business Intelligence)项目中,ETL扮演着整合数据、为决策支持提供准确信息的角色。通常,ETL约占整个项目工作量的三...

    BI ETL ELT Kettle 基础知识中文文档汇总

    BI ETL ELT Kettle 基础知识中文文档汇总 BI项目中ETL设计与思考.pdf CTL工具.pdf ETL-开发规范.pdf ETL_--_事实表.pdf ETL_文档.pdf ETL_架构.pdf ETL_调度系统技术方案说明书_V1.0.pdf ETL中的数据清洗...

    ETL系列专题2 ETL数据结构

    3. 检验型Staging数据:在数据仓库系统中,源数据种类繁多,中间转换过程复杂,因此,Staging数据可以用来比较原始数据和DW/DM数据的差异,从而分析ETL处理过程中是否存在错误。 在实际操作中,ETL团队在设计...

    SQL2008.AdventureWorks_DW_BI_v2008.x86.mis和x64mis.rar

    标题中的"SQL2008.AdventureWorks_DW_BI_v2008.x86.mis和x64.mis.rar"表明这是一个与Microsoft SQL Server 2008相关的数据库示例,其中包含了AdventureWorksDW数据仓库和商业智能(BI)组件。此压缩包提供了32位...

    DW和OLAP的税务决策支持系统的方案设计

    ### DW和OLAP的税务决策支持系统的方案设计 #### 一、引言 随着税收信息化的发展,税务部门面临着诸多挑战。一方面,从技术角度来看,由于税收业务本身的复杂性与多样性,以及历史遗留因素的影响,税务系统内部...

    DB2 BI解决方案

    DB2 BI(商业智能)解决方案是IBM提供的一种全面的数据管理和分析工具,旨在帮助企业从海量数据中提取有价值的信息,以支持决策制定和业务优化。商业智能的核心在于数据的收集、管理和分析,通过这些过程将原始数据...

    基于结构图的ETL过程建模方法基于结构图的ETL过程建模方法

    ### 基于结构图的ETL过程建模方法 #### 概述 在现代企业数据分析和决策支持系统中,数据仓库(Data Warehouse, DW)扮演着至关重要的角色。ETL(Extract-Transform-Load)作为数据仓库的核心组成部分,负责从不同...

    作为一个BI开发人员,我要发布报表,元数据,OLAP的模型到BI服务器

    标题中的“作为一个BI开发人员,我要发布报表,元数据,OLAP的模型到BI服务器”表明了本主题涉及商业智能(Business Intelligence, BI)领域的开发工作。BI是数据分析的重要组成部分,它通过收集、处理和分析大量...

    商务智能“BI”介绍

    详细介绍“商务智能”系统体系架构,具体应用,应用流程;介绍商务智能系统的关键技术DW,ETL,OLAP,DM

    BI ETL的启停注意事项

    BI(Business Intelligence)ETL(Extract, Transform, Load)是数据仓库系统中关键的一部分,它负责从各种数据源提取数据,进行清洗、转换,并加载到目标数据库或数据仓库。ETL过程通常包括多个组件和步骤,确保...

    BI ETL常见的异常问题处理方法

    BI ETL 常见的异常问题处理方法 BI ETL(Business Intelligence Extract, Transform, Load)是一种常用的数据集成技术,用于将不同的数据源集成到一起,以便进行数据分析和报表生成。然而,在BI ETL过程中,经常会...

    论文研究-基于结构图的ETL过程建模方法.pdf

    为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据...

    商业智能BI介绍.pdf

    BI的体系结构: * BI的核心是数据仓库(Data Warehouse,简称DW),是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。数据仓库是实现商务智能的基础平台。 * ETL(Extracting、Transforming、...

Global site tag (gtag.js) - Google Analytics