`
oycn0755
  • 浏览: 113666 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

概念:ODS

 
阅读更多

概念

  ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

作用

  一般在带有ODS的系统体系结构中,ODS都设计为如下几个作用:

  在业务系统和数据仓库之间形成一个隔离层

  一般的数据仓库应用系统都具有非常复杂的数据来源,这些数据存放在不同的地理位置、不同的数据库、不同的应用之中,从这些业务系统对数据进行抽取并不是一件容易的事。因此,ODS用于存放从业务系统直接抽取出来的数据,这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致,因此在抽取过程中极大降低了数据转化的复杂性,而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。

  转移一部分业务系统细节查询的功能

  在数据仓库建立之前,大量的报表、分析是由业务系统直接支持的,在一些比较复杂的报表生成过程中,对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致,那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行,从而降低业务系统的查询压力。   完成数据仓库中不能完成的一些功能

  一般来说,带有ODS的数据仓库体系结构中,DW层所存储的数据都是进行汇总过的数据,并不存储每笔交易产生的细节数据,但是在某些特殊的应用中,可能需要对交易细节数据进行查询,这时就需要把细节数据查询的功能转移到ODS来完成,而且ODS的数据模型按照面向主题的方式进行存储,可以方便地支持多维分析等查询功能。

  在一个没有ODS层的数据仓库应用系统体系结构中,数据仓库中存储的数据粒度是根据需要而确定的,但一般来说,最为细节的业务数据也是需要保留的,实际上也就相当于ODS,但与ODS所不同的是,这时的细节数据不是“当前、不断变化的”数据,而是“历史的,不再变化的”数据。

 

数据仓库(ODS)设计方法  在数据仓库设计方法和信息模型建模方法中,前人的著作对各种思路和方法都做过大量的研究和对比,重点集中在ER模型和维模型的比较和应用上。根据我们的实践经验,ER模型和维模型在数据仓库设计中并非绝对对立,尤其在ODS设计上,从宏观的角度来看数据之间的关系,以ER模型最为清晰,但从实现出来的数据结构上看,用维模型更加符合实际的需要。因此孤立地看ER模型或者维模型都缺乏科学客观的精神,需要从具体应用上去考虑如何应用不同的设计方法,但目标是一定的,就是要能够把企业的数据从宏观到微观能够清晰表达,并且能够实现出来。

数据仓库(ODS)设计指南

  在ODS的概念定义中,已经描述了ODS的功能和特点,实际上ODS设计的目标就是以这些特点作为依据的。ODS设计与DW设计在着眼点上有所不同,ODS重点考虑业务系统数据是什么样子的,关系如何,在业务流程处理的哪个环节,以及数据抽取接口等问题。

第一步:数据调研

  数据调研的内容和要求,在《调研规范》文档中做了详细定义,此处不再重复。

第二步:确定数据范围

  确定数据范围实际上是对ODS进行主题划分的过程,这种划分是基于对业务系统的调研的基础上而进行的,并不十分关心整个数据仓库系统上端应用需求,但是需要把上端应用需求与ODS数据范围进行验证,以确保应用所需的数据都已经从业务系统中抽取出来,并且得到了很好的组织。一般来讲,主题的划分是以业务系统的信息模型为依据的,设计者需要综合各种业务系统的信息模型,并进行宏观的归并,得到企业范围内的高层数据视图,并加以抽象,划定几个逻辑的数据主题范围。在这个阶段,以ER模型表示数据主题关系最为恰当。第二步:根据数据范围进行数据分析和主题定义 在第一步中定义出来了企业范围内的高层数据视图,以及所收集到的各种业务系统的资料,在这一步中,需要对大的数据主题进行分解,并进行主题定义,直到每个主题能够直接对应一个主题数据模型为止。在这个阶段,将把第一步生成的每个ER图中的实体进行分解,分解的结果仍以ER表示为佳。

第三步:定义主题元素

  定义维、度量、主题、粒度、存储期限

  定义维的概念特性:

  维名称,名称应该能够清晰表示出这个维的业务含义。

  维成员,也就是这个维所代表的具体的数据,

  维层次,维成员之间的隶属与包含的层次关系,每个层次需要定义名称

  定义度量的概念特性:

  度量名称,名称应该能够清晰表述这个度量的业务含义

  定义主题的概念特性:

  主题名称和含义,说明该主题主要包含哪些数据,用于什么分析;

  主题所包含的维和度量;

  主题的事实表,以及事实表的数据。

  定义粒度:

  主题中事实表的数据粒度说明,这种粒度可以通过对维的层次限制加以说明,也可以通过对事实表数据的业务细节程度进行说明。

  定义存储期限:

  主题中事实表中的数据存储周期。

第四步:迭代,归并维、度量的定义

  在ODS中,因数据来自于多个系统,数据主题划分时虽然对数据概念进行了一定程度上的归并,但具体的业务代码所形成的各个维、以及维成员等还需要进一步进行归并,把概念统一的维定义成一个维,不允许同一个维存在不同的实体表示(象不同的业务系统中一样)。

第五步:物理实现

  定义每个主题的数据抽取周期、抽取时间、抽取方式、数据接口,抽取流程和规则。

  物理设计不仅仅是ODS部分的数据库物理实现,设计数据库参数、操作系统参数、数据存储设计之外,有关数据抽取接口等问题必须清晰定义。

分享到:
评论

相关推荐

    ODS学习心得

    #### 一、ODS概念解析 ODS(Operation Data Store),即操作数据存储,是一种用于支持企业日常全局应用的数据集合。根据Bill Inmon的观点,数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的...

    ODS与EDW的区别

    在数据仓库领域,ODS(Operational Data Store)和EDW(Enterprise Data Warehouse)是两个重要的概念。它们在数据处理流程中扮演着不同的角色,理解它们之间的区别对于构建高效的数据管理系统至关重要。 #### 二、...

    Building the Operational Data Store on DB2 U Using IBM Data Replication, Websphere Mq Family, and DB2 Warehouse Manager

    #### 运营数据存储(ODS)的概念 ##### 定义 运营数据存储(ODS)是一种用于存储来自不同来源的集成数据的临时性数据库。它旨在为企业的日常操作提供实时或近实时的数据支持。ODS通常位于企业的业务智能架构中,...

    带有ODS的体系结构中数据仓库的设计方法

    带有 ODS 的体系结构中数据仓库的设计方法 数据仓库的概念定义是非常重要的,数据仓库概念规定了数据仓库所具有的几个基本特性,这些特性也正是对数据仓库设计结果进行检验的重要依据。根据 Bill.Inmon 的定义,...

    数据仓库(DW)与操作型数据存储(ODS)

    本文将从概念、特点、优缺点、应用场景等方面对DW和ODS进行比较和分析,并讨论它们在企业中的应用价值和实现方法。 一、数据仓库(DW) 数据仓库(DW)是一种面向主题、集成的数据环境,旨在满足企业的决策支持和...

    theoperationaldatastore

    #### ODS 的概念与背景 为了解决遗留系统带来的问题,已经尝试过多种方法,包括数据建模和信息工程等。尽管这些方法理论上很有前景,但在实际操作中却进展缓慢。遗留系统的规模和复杂度持续增长,消耗着越来越多的...

    中国联通集团统一数据采集与整合(ODS)与收入管理系统(三阶段)接口规范

    1. 产品:产品是ODS中的一个基本概念,包括产品名称、产品描述、产品价格等信息。 2. 服务:服务是ODS中的一个基本概念,包括服务名称、服务描述、服务价格等信息。 3. 产品类型关系表:产品类型关系表是ODS中的一个...

    IBM给电信作的ODS数据模型设计

    首先,我们要理解ODS的基本概念。ODS是一种介于OLTP(在线事务处理)系统和数据仓库之间的数据存储结构,它主要用来支持运营决策和实时分析。ODS的特点是数据实时或近实时更新,结构相对简单,数据粒度较细,能快速...

    泛华ODS设计

    其中,“前一天业务主键存量表”、“每日全通存量表”等概念,反映了数据的维护流程: - **存量表**:用于存储当前有效的全部业务数据,每日更新。 - **删除与插入**:每日更新时,先删除前一天与当前业务主键相同...

    ODS数据仓库新技术的研究与应用

    ### 数据仓库与ODS的基本概念 #### 数据仓库概念 数据仓库被定义为一种面向主题、集成、不同时间点、稳定的数据集合,旨在支持管理决策。它不是一个孤立的平台或产品,而是一种解决方案,旨在整合来自多种异构数据...

    数据整合的魅力大唐电信ODS.docx

    ODS的概念由数据仓库专家Bill Inmon提出,其定义强调ODS是一个集成、实时、面向主题的细节数据集合,服务于企业即时性、操作性和集成的信息需求。ODS的主要作用是将分散在不同业务系统中的数据进行整合、清洗和转换...

    使用SGGRAPH作图

    在使用SGGRAPH进行作图的过程中,我们需要理解其背后的基础概念、组件以及实际操作步骤。以下是从给定文件信息中提取的知识点: 1. ODS Graphics介绍: ODS Graphics是SAS中的输出交付系统(Output Delivery System...

    银行ODS整体架构及实施案例.pdf

    本篇文档详细介绍了ODS的概念、特性、架构、技术实现以及在银行行业中的应用案例。 一、ODS定义与特性 ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用以满足企业对即时性、操作性、集成性信息的...

    02_DWD层数据准备_V2.0.pdf

    1. 实时数仓概念:实时数仓是指为了提高数据计算的复用性,通过将数据分层存储和处理,减少数据计算的重复性。 2. 实时数仓分层架构:ODS(原始数据层)、DIM(维度层)、DWD(明细数据层)、DWM(轻度聚合层)、...

    初探一体化电网运行智能系统的概念与特征.pdf

    3. **统一的ODS**:OS2由各级主站与厂站的Operations Data Store(ODS)组成,形成统一的数据存储和管理平台,确保信息的协调统一。 4. **功能划分**:ODS根据功能分为Operation Control System(OCS)和Operation ...

    数据仓库基本概念和设计方法

    2. 概念设计:这一阶段涉及构建数据仓库的逻辑模型,定义主题域(如客户、产品、销售等),并确定每个主题的属性和关系。这些主题域是数据仓库的核心,反映了业务的主要关注点。 3. 逻辑设计:在这个阶段,我们将...

    数据仓库概念设计及应用(ppt 30).pptx

    以下是对数据仓库关键概念的详细阐述: 1. 建立数据仓库的原因: 主要是为了解决事务处理系统不适合进行复杂分析的问题,因为OLTP系统设计的目标是高效处理大量短期交易,而数据分析往往需要长时间运行的查询,这...

    数据仓库应用实例 电信公司辽宁电信ODS介绍 共39页.pptx

    数据仓库应用实例-电信公司辽宁电信ODS介绍 데이터仓库是电信公司的一种重要的数据管理系统,它将企业的数据集中起来,提供统一的数据视图,支撑多个业务系统的数据需求。数据仓库系统的建立可以提高数据的一致性...

Global site tag (gtag.js) - Google Analytics