`
student_lp
  • 浏览: 437186 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据仓库建设--概念

阅读更多

数据仓库:Data Warehouse(DW),一种信息系统的数据存储理论,此理论强调利用某些特殊数据存储方式,让所包含的数据,特别有利于分析处理,以产生有价值的信息并依此作决策。利用数据仓库方式所存放的数据,具有一但存入,便不随时间而更动的特性,同时存入的数据必定包含时间属性,通常一个数据仓库皆会含有大量的历史性数据,并利用特定分析方式,自其中发掘出特定信息。
主要功能乃是将组织通过信息系统之在线交易处理(OLTP)经年累月所累积的大量数据,通过数据仓库理论所特有的数据存储架构,作一有系统的分析整理,以利各种分析方法如在线分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管信息系统(EIS)之建立,帮助决策者能快速有效的自大量数据中,分析出有价值的信息,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。
一般来说,数据仓库可由关系数据库,或专为数据仓库开发的多维度数据库建立,若由多维度数据库建立而成,其架构可分为星状及雪花状架构,包含数个维度数据表,及一个事实数据表。

数据超市:Data Mart(DM),数据仓库的特殊形式。正如数据仓库,资料超市也包含对操作数据的快照,便于用户基于历史趋势与经验进行战略决策。两者关键的区别在于资料超市的创建是在有具体的、预先定义好了的对被选数据分组并配置的需求基础之上的。配置资料超市强调对相关信息的易连接性。

在线分析处理:On-Line Analytical Processing(OLAP),一套以多维度方式分析资料,而能弹性地提供积存(Roll-up)、下钻(Drill-down)、和枢纽分析(pivot)等操作,呈现整合性决策资讯的方法,多用于决策支持系统、商务智能或数据仓库。其主要的功能,在于方便大规模数据分析及统计计算,对决策提供参考和支持。

数据挖掘:Data mining,它是数据库知识发现(Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

决策支持系统:Decision Support Systems(DSS),一种协助人类做决策的资讯系统,协助人类规划与解决各种行动方案,通常以交谈式的方法来解决半结构性(Semi-structured)或非结构性(Non-structured)的问题,帮助人类做出的决策,其强调的是支援而非替代人类进行决策。

操作数据存储:Operational Data Store(ODS),是一种数据架构或数据库设计的概念,出现原因是来自于当需要集成来自多个系统的数据,结果又要给一或多个系统使用时。
集成来自多个系统的数据,应先建立数据模型(data model)。由于ODS并不属于特定的系统,因此其数据模型的设计应为主题导向式(subject-oriented),实现方法与数据仓库无异。为求快速建置以及体现来源系统数据,实务上常见许多企业采取的做法是直接将来源系统的数据以类似复制的方式至来源系统以外的数据库,将它视为来源数据的复本,而没有进行真正的数据集成。
相较于数据仓库,ODS较偏向作业(operational)面的用途,通常数据有较频繁的更新以及较短的历史,但这主要是概念上的差异,实际建置时可以建立在同一平台上,由一份数据从事两种性质的服务。

ETL(Extract-Transform-Load):用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL所描述的过程,一般常见的作法包含ETL或是ELT(Extract-Load-Transform),并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强计算能力的数据库,愈偏向使用ELT,以便运用目的端数据库的平行处理能力。

商业智能:Business Intelligence(BI),指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据,以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是作业层的,也可以是管理层和策略层的决策。
为了将数据转化为知识,需要利用数据仓库、线上分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是ETL、数据仓库、OLAP、数据挖掘、数据展现等技术的综合运用。

从这些概念看来,一个完整的数据仓库系统,应该从源数据(Source Data)经过Staging或者ODS ETL到Staging Area,然后进行最终ETL存储到数据仓库,然后清除无用数据并归档压缩,再对这些数据进行BI分析,生成报表等呈现形式给最终用户。

分享到:
评论

相关推荐

    CDAS 2017-大数据下的企业数据仓库建设-代立冬

    以上知识点总结了大数据环境下企业数据仓库建设的核心概念、架构设计、关键组件的作用以及在实际操作中需要遵循的规范和方法。数据仓库的构建是一项复杂且重要的工作,是大数据分析、挖掘与商业智能的基石。通过专业...

    数据仓库--概念、设计及应用

    数据仓库是信息技术领域中的一个重要概念,它是一种特殊设计的数据库系统,主要用于数据分析和报告,而不是日常业务操作。...通过持续学习和实践,我们可以不断提升数据仓库的建设和管理能力,为企业创造更大的价值。

    数据中心建设-@赵建亭.pdf

    数据中心和数据仓库是现代信息技术领域的核心概念,它们在支持企业信息化和决策分析中扮演着至关重要的角色。商业智能(BI)作为一种技术应用,它涉及到数据仓库的建设和数据分析,以帮助企业和组织做出更加明智的...

    银行数据仓库建设项目方案.docx

    执行架构是数据仓库概念上的环境模型,其目的是为了确保数据仓库系统的高效运行和技术组件间的无缝集成。 **1.2.2 执行架构设计原则** 执行架构的设计原则包括: - **兼容性**:确保新旧系统之间的兼容性。 - **...

    数据仓库基本概念-北大

    数据仓库基本概念与联机分析处理技术是现代企业信息化建设和数据驱动决策的重要组成部分。数据仓库是一种用于支持管理和决策制定的数据存储系统,它收集并整合来自各种业务系统的数据,以提供全面、一致的数据视图,...

    数据仓库基本概念-思维导图

    数据仓库是专为支持企业或组织决策分析而构建的大规模数据存储和管理系统。它集中存储了来自不同数据源的数据,经过清洗...数据仓库的建设需要经过需求分析、概念设计、逻辑设计和物理设计等多个阶段,以确保其能够满足

    数据仓库讲义-童云海-北京大学

    这是数据仓库建设的关键步骤,包括从不同源系统提取数据、转换数据以适应数据仓库的结构和格式,以及加载到数据仓库中。此外,数据清洗也是此过程中的重要环节,确保数据质量。 数据仓库的设计通常遵循星型、雪花型...

    数据仓库及数据挖掘项目建设-讲义.doc

    本文将详细解析数据仓库和数据挖掘的基本概念、重要性以及实施过程中的质量控制策略。 首先,数据仓库是数据管理的核心,它是针对特定主题、高度集成、相对稳定且随时间变化的数据集合。其主要功能是将分散在各个...

    滴滴SDL体系建设--滴滴SDL从0-1建设历程.pdf

    SDL建设历程概览阶段,重点介绍了SDL的基本概念和滴滴在SDL建设过程中的几个关键年份。滴滴SDL体系主要包含以下几个方面:安全开发技术咨询、设计方案评估、代码安全评估、漏洞运营、培训和教育以及安全自动化等。 ...

    199-实时数据仓库建设体系.pdf

    ### 实时数据仓库建设体系知识点解析 #### 一、数据仓库概述 - **定义**: 数据仓库(Data Warehouse)是一种专门...通过对实时数据仓库的概念、特点、架构及应用场景的深入理解,可以更好地把握其实现原理和优势所在。

    数据仓库建立-江苏电信模拟

    江苏电信数据仓库建立的知识点涵盖了业务分析、多维建模、公共维度提取、维度表、事实表、星型模型和雪花型模型的应用等关键概念和技术实现。 在业务分析部分,江苏电信模拟了三个主要业务场景: 1. 套餐制定决策...

    oracle数据仓库资料(全流程精髓)

    《Oracle+10g据仓库实践--数据仓库工具的选择及准备.pdf》探讨了Oracle 10g在数据仓库建设中的角色,包括Oracle Database、Oracle Warehouse Builder(OWB)等工具的特性、选择标准和准备工作,以确保顺利实施数据...

    数据仓库维度建模实践-体系搭建-网易01.pdf

    本文档介绍了数据仓库维度建模实践的基本概念和体系搭建方法,从数据仓库的定义到维度建模的应用,涵盖了数仓建设体系的总体架构、数据模型层次、业务过程和维度的梳理、数据域的划分等内容。 首先,数据仓库是一个...

    关于数据仓库、数据湖、数据平台和数据中台的概念和区别.docx

    数据仓库、数据湖、数据平台和数据中台概念和区别 在企业数字化转型或者信息化建设过程中,数据治理是不可避免的重要一步。数据仓库、数据湖、数据平台和数据中台都是数据治理的载体,但它们之间有着明显的区别。 ...

    数据仓库的概念

    ### 数据仓库的概念详解 #### 一、什么是数据仓库 数据仓库是一种特殊类型的数据库,它主要用于支持决策制定过程,而非日常的事务处理。数据仓库的主要特点是面向主题、集成性、相对稳定性以及反映历史变化。 1. ...

    数据仓库-ETL和元数据

    **ETL**(Extract/Transform/Load)是数据仓库建设中的核心环节之一,主要负责将来自多个源的数据抽取、转换和加载到数据仓库中。 1. **数据抽取**(Extract): 从源系统中提取所需的数据。 2. **数据转换**...

    ORACLE数据仓库建设.docx

    - **起源**: 1970年代后期,随着商业智能概念的兴起,数据仓库的概念逐渐形成。 - **发展**: 1990年代,数据仓库技术快速发展,成为企业信息化建设的重要组成部分。 - **1.6.2 数据仓库发展趋势** - **云计算**: ...

    企业数据仓库化建设理论及实践_冶金自动化(数据分析部-嵇晓)20020808.doc

    数据仓库是现代企业信息化建设的重要组成部分,它为企业提供了一个集中、统一的历史数据分析平台,以便进行深入的业务洞察和战略决策。本文将详细探讨企业数据仓库化的理论基础与实践经验,特别是结合上海宝钢信息...

    99-南宁数据中台 数据仓库建设指南 v0.5.docx

    通过上述分析,我们可以看出,《南宁数据中台数据仓库建设指南》是一份全面而详细的指导文件,旨在帮助南宁市各机构有效地建设和管理数据仓库。该指南不仅涵盖了从需求分析到后期维护的各个环节,还强调了数据安全和...

Global site tag (gtag.js) - Google Analytics