`
student_lp
  • 浏览: 437974 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据仓库简介---组成

阅读更多
   数据仓库的组成部分有:针对数据源的分析、数据的迁移、数据的存储结构、元数据管理等。
  • 数据源分析:业务系统的源数据通常来自企业的内部信息和外部信息。内部信息指来自企业的生产数据和历史归档数据;而企业的生产数据有可能来自于不同的业务系统,如何将这些业务数据进行标准化,转换成数据仓库可以存储的数据,从而保证数据仓库中数据的一致性,这是数据源分析最重要的一步。(归档历史数据一般是指将大量的、不常用的历史数据以在线的方式或者以离线的方式存储在数据库中或者磁带机中,这些历史数据有可能会成为数据仓库系统分析未来趋势和探究根本原因的宝贵财富。外部信息一般包括企业的法律法规、该行业的市场信息和该企业竞争对手的信息,例如该企业竞争对手的市场占有率信息)
  • 数据的迁移部分主要包括数据的抽取、转换和加载3个部分。
  • 数据仓库的存储和管理:它按照主体的形式对业务源数据进行抽取、转换、加载和集成的。在数据仓库中,存储了大量的历史数据,将这些宝贵的历史数据转换成可以分析的、稳定的数据是数据仓库的根本任务和目的。
  • 元数据的管理主要包括技术元数据和业务元数据的管理。
一、数据源分析     
   数据源是数据仓库系统所有信息的源头,主要是操作型业务应用系统存放的数据集合。数据源分析是指对业务数据源中的原始数据进行分析,得到数据的范围、格式,以及其更新方式、更新频率、质量等方面的信息。     
   在分析的过程中,需要确定业务源数据中哪些数据需要被抽取。为了确定合适的抽取方式,需要在抽取之前对数据源进行分析,分析的范围一般包括数据的格式、数据的范围、更新的方式、数据质量的好坏。在分析的过程中,应该尽可能获取分析的结果,形成数据源分析报告,在仔细研究分析报告后,再选择合适的抽取、加载方式。     
   在分析时,应该抛弃实际的应用系统,在逻辑上重新确定目标表中需要哪些业务数据,然后再根据业务系统的实现方式,分析业务源数据的存储格式、更新频率、更新方式和数据质量。     
   可以得出这样的结论:所谓数据源分析,就是对源数据进行分析和总结,得出源数据的范围、格式、更新方式、更新频率和质量好坏的过程。
   数据源分析的过程分为范围分析、格式分析、更新方式分析、质量分析4个方面:
  • 范围分析是指分析数据的范围。用户需要确定数据仓库系统需要数据源中的哪些原始数据。
  • 格式分析是指对原始数据在数据库中的物理存储方式进行分析。内容包括在数据库中的存储类型、存储长度、数据精度等指标。
  • 更新方式分析是指对原始数据在应用系统中的更新方式、更新频率、更新内容进行分析判断。内容包括原始数据何时更新、更新方式、具体更新哪些内容等。
  • 质量分析是指分析业务源数据的质量。主要分析数据完整性、数据准确性、数据一致性等内容。一般步骤包括:设计数据质量定义文档,内容包括数据质量验收的依据,数据质量等级的划分,数据质量检查的流程等内容;再根据数据质量定义文档进行数据质量检查,最终形成质量报告;根据数据质量报告进行深入分析,将分析结果提交给相关人员,协助设计人员完成数据清洗规则的制定。通常,质量分析是数据源分析中最重要、工作量最多的部分。
  • 除以上所述的对数据源进行分析外,还需要对各项指标数据的确切含义,统计口径等信息进行明确的界定,以避免产生二义性。
二、数据迁移
1、数据抽取
  • 数据抽取前需要清楚以下内容:数据源来自于哪几个业务系统,各个业务系统的数据库管理系统分别是什么,是否存在手工录入的情况。
  • 在确定数据抽取方式时,根据不同情况,不同业务源数据的抽取方式可能不相同。在对数据抽取方式进行设计时,首先根据数据抽取的范围,估算出每次抽取的数据量;然后再从实际的业务系统数据库服务器当前的运行情况,ETL服务器与业务系统数据库服务器之间的网络连接情况,客户对数据实时性的要求等方面考虑,选择最合适的抽取方式。
  • 数据抽取可以有两种方式:直接抽取方式、间接抽取方式。
  • 在进行数据抽取时,先明确每个数据表采用何种数据抽取方式。直接抽取方式是指数据抽取过程中直接从业务源数据库到目标库,中间没有经历过任何过渡。但是直接抽取方式必须确定业务系统数据库为ETL过程提供的数据库用户名、授权给该用户访问的表名称,对该用户授权的方式、数据抽取时相关的安全措施等内容。间接抽取方式是指采用文件交换的方式进行数据抽取,需要考虑网络连接、数据库的分布等客观因素。在文件交换的过程中,需要确定文件交换的位置、文件的格式、对文件完整性的检查、文件传输的方式、文件是否传输完毕的标记、文件重新传递的标记等内容。间接抽取方式也称做异步ETL方式
2、数据转换
  • 数据转换的含义是将业务系统内的各种源数据,通过自定义的转换脚本或者其他一些计算方法,将源数据转换成符合数据仓库要求的数据。转换过程包含了对数据不一致性的转换,数据粒度的转换和满足一些计算指标的转换。
  • 如果转换的目标表是针对数据集市中的表,那么当每一个字段确定好转换规则后,需要对同一表中的所有字段进行综合,以SQL语句的方式记录下来。这期间包含了将业务系统数据按照数据仓库粒度进行聚合的过程。对于比较复杂的转换规则,无法在一个SQL语句中完整地表现一个表所有字段的,可以拆分为多个SQL语句。
  • 在这一步,需要形成转换规则文档。内容包括数据集市中的所有字段如何关联到业务系统中的各个字段,以及每个字段的运算转换函数及参数,转换的方法,还包括每个表的SQL转换语句等内容。
3、数据装载
  • 数据经过转换、清洗后,需要装载到目标数据库中。数据装载的方式有多种:全表对比方式、时间戳方式、日志表的方式、全表删除后再插入的方式。

三、数据存储结

   在设计数据存储结构时,需要考虑:存储的时间、存储空间的利用率和数据维护的成本。

四、元数据

   元数据主要包括技术元数据与业务元数据

1、技术元数据

   技术元数据是存储关于商业智能系统技术细节的数据,是用于开发和管理商业智能系统使用的数据。它主要包括以下信息:商业智能系统结构的描述,包括对数据源、数据转换、抽取过程、数据加载策略以及对目标数据库的定义等内容;还包括数据仓库使用模式、视图、维度、层次结构、类别和属性的定义,以及立方体的存储模式等信息。

   总之,技术元数据提供给系统管理人员和数据仓库开发人员使用,管理人员需要了解操作环境到商业智能环境的映射关系(即ETL数据抽取的映射关系),数据的刷新规则,数据的安全性,数据库优化和任务调度等内容。数据仓库开发人员需要了解度量值和维度定义的算法。在实际商业智能开发过程中,业务元数据和技术元数据是相互关联的,对元数据的深刻理解是数据仓库应用和维护的基础。

2、业务元数据

   业务元数据从业务角度描述了商业智能系统中的数据,是介于使用者和真实系统之间的语义层,使得不懂计算机技术的业务人员也能够理解商业智能系统中的数据。业务元数据使用业务名称、定义、描述等信息表示数据仓库中各种属性和概念。业务元数据主要包括以下信息:用户的业务术语和他们表达的数据模型信息、对象名称及其属性,数据的来源信息和数据访问的规则信息,商业智能系统提供的各种分析方法以及报表展示的信息。业务元数据使数据仓库管理人员和用户更好的理解和使用数据仓库,用户通过查看业务元数据可以清晰的理解各指标的含义,指标的计算方法等信息。

   元数据的作用包括:便于商业智能系统的集成和可重用,保证数据仓库数据质量和可维护性,帮助业务人员和技术人员更好的理解当前业务和系统数据,提高商业智能系统的管理效率。

分享到:
评论

相关推荐

    数据仓库---初学者使用

    数据仓库是信息系统的重要组成部分,主要用于企业决策支持和分析。它是一个设计用于高效查询和分析的历史性数据集合,通常从各种在线事务处理(OLTP)系统中抽取、转换和加载(ETL过程)而来。初学者在接触数据仓库...

    WEB数据仓库--经典

    一个典型的WEB数据仓库架构可能包括以下几个关键组成部分: 1. **数据源**:这是数据的起源,如Web服务器日志、应用服务器日志、数据库等。 2. **数据提取(ETL)**:提取(Extract)、转换(Transform)、加载...

    Oracle 10g数据仓库实践--数据仓库基础

    #### 1.1 数据仓库简介 - **定义与功能**:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 - **特点**: - 面向主题:数据仓库中的数据按主题进行组织。 - 集成性:...

    数据仓库-数据集市-BI-数据分析.rar

    数据仓库、数据集市和商业智能(BI)是现代企业数据管理与分析的核心组成部分。这篇文章将深入探讨这些概念,以及它们如何协同工作以支持数据分析。 首先,我们来理解数据仓库。数据仓库是一个集中的、结构化的存储...

    Hadoop数据仓库--hive介绍

    Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户使用类似于 SQL 的查询语言(称为 HiveQL 或 HQL)对大规模数据集进行分析和处理。Hive 的设计初衷是为了简化大数据处理,使得非编程背景的用户也能方便地进行...

    1.1 数据仓库概述 - 京东集团数据仓库 - 主页面1

    数据仓库是企业级数据管理的重要组成部分,用于指导数据仓库模型管理、任务管理、命名规范,维护和管理企业级数据仓库。京东集团数据仓库是按照《数据仓库参考手册》的标准建立的,旨在保证数据仓库的标准性、稳定性...

    子信息工程毕业论文(中英文对照)-数据仓库--正确选择数据采集系统.doc

    数据仓库是企业信息系统的重要组成部分,它是一个集中、一致、非易失的存储库,用于报告和数据分析,旨在支持决策制定。而数据采集系统则是获取、处理和存储这些数据的关键工具。 在数据仓库的背景下,选择正确的...

    第六章数据库与数据仓库--PZZ.pptx

    【第六章 数据库与数据仓库】的讲解涵盖了数据库技术的基础概念和数据管理的发展历程,以及数据仓库的相关内容。本章内容主要分为两大部分:数据库技术和数据仓库。 首先,讲解了数据库的基本概念。数据库是一个...

    【多易教育】Titan数据运营系统-v.6.2.pdf

    数据仓库作为大数据项目的核心组成部分,主要负责数据存储、各种统计和运算任务。它支持离线计算方式,适用于数据时间跨度长、运算量大的任务;同时也支持实时计算方式,满足对时效性要求高的需求。通常情况下,企业...

    数据仓库-数据挖掘-XML.docx

    数据仓库的架构通常包括以下几个关键组成部分: 1. **数据源**:这些可以是内部数据库、外部文件或其他系统的数据。 2. **数据提取转换层(ETL)**:此层负责从源系统提取数据、转换数据以适应数据仓库的要求,并将...

    数据仓库-方法论

    3. **关键组成部分**:如数据仓库建模方法、数据质量控制、系统架构设计等。 #### 六、数据仓库建模方法 数据建模是数据仓库项目中的核心环节之一。它不仅能够统一企业的数据视图,还能够定义业务部门对于信息的...

    数据仓库-数据同步-canal1

    数据仓库-数据同步-canal1 数据仓库是指一种专门用于报表和分析的数据库系统,旨在解决数据分析和报表制作的需求。数据仓库通常包含三个主要部分:数据源、数据仓库服务器和报表系统。 数据同步是指在不同的数据源...

    数据仓库与数据挖掘实验报告-.docx

    #### 第1章 数据仓库和数据挖掘简介 **1.1 数据简介** 在本部分中,作者简要介绍了所使用的数据集来源及其特点。该实验涉及到两个数据集: - **超市交易数据集**:主要用于进行关联规则分析。虽然文本未提供详细...

    sqlserver数据仓库

    #### 二、SQL Server 数据仓库解决方案的核心组成部分 ##### 1. 关系型数据库 - **功能**:作为数据仓库的基础存储层,负责存储大量的历史数据。 - **特点**: - 支持大规模数据量。 - 高效的数据查询和检索机制...

    银行业数据仓库与应用研究-工具比较篇

    ETL是数据仓库的关键组成部分,涉及数据获取、转换和加载。Oracle的ETL解决方案通过OWB设计,利用数据库内置的ETL引擎,确保性能和投资保护。OWB提供图形化工具,支持数据聚合、去重、过滤等操作,简化数据转换过程...

    数据仓库与数据挖掘技术课件-夏火松

    数据仓库与数据挖掘技术是信息技术领域中的重要组成部分,它们在当今大数据时代发挥着至关重要的作用。数据仓库是一种专门设计用于支持决策制定的系统,而数据挖掘则是从大量数据中发现有价值信息的过程。在这个由夏...

    Oracle数据挖掘入门---Oracle数据库数据挖掘,筛选,数据仓库的入门教程

    本文旨在为初学者提供一个关于如何在 Oracle 数据库中进行数据挖掘、筛选以及构建数据仓库的入门指南。 #### 二、数据挖掘概述 **1. 什么是数据挖掘** 数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的...

    数据仓库-ETL和元数据

    综上所述,ETL和元数据是数据仓库建设和运营的核心组成部分。通过高效地执行ETL流程和充分利用元数据,企业不仅能够有效地整合来自多个源的数据,还能够确保数据的质量和可用性,进而为高级管理层提供准确、及时的...

Global site tag (gtag.js) - Google Analytics