`
weitao1026
  • 浏览: 1062654 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论
阅读更多

数据仓库的重要应用是将不同来源的数据和异构数据通过ETL整合在一起,为决策分析提供支撑,若在同一个数据库中分不同用户,此意义不大;假设所有有用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了 SOA 设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要有下钻操作,需要从DW层下钻到ODS层,多个库不方便查询和关联。

  

在当今这样一个信息技术发展迅速的时代,数据量也在不断的增长,面临这样的压力,总是会有大神提出一些解决方案。比如高层管理人员希望能查看整个公司的发展业绩,数据仓库(Data Warehouse, DW)正是解决该问题的主要方案,随之DW就这样产生了。可是时代在变,需求也会随着改变,比如保险公司的员工希望提高自己的业绩,拿更多的工资,那么他首先希望的就是能把更多的客户挖进来,其实这其中是有很多方法的。最基本的例子,比方说某保险公司的一个客服希望能够以最高的成功率向客户推荐相关的业务,一旦客户来电,客服可以立刻从数据库中调出该客户的相关的一连串信息,从而可以根据这些信息有针对性的向客户推荐相关的业务了,显然,这样的推荐方式明显可以提高成功率。那么问题就来了,怎么解决这样的问题呢?随之,操作型数据存储(Operational Data Store, ODS)的诞生给此类问题提供了良好的解决方案。从理论上讲,这两种解决方案到底有什么区别呢?现在进入正题。

 

ODS与DW的区别主要有以下几点:

 

1、数据的当前性

 

ODS包括的是当前或接近当前的数据,ODS反映的是当前业务条件的状态,ODS的设计与用户或业务的需要是有关联的,而DW则是更多的反映业务条件的历史数据。

 

2、数据的更新或加载

 

ODS中的数据是可以进行修改的,而DW中的数据一般是不进行更新的。ODS的更新是根据业务的需要进行操作的,而没有必要立即更新,因此它需要一种实时或近实时的更新机制。另外,DW中的数据是按照正常的或预先指定的时间进行数据的收集和加载的。

 

3、数据的汇总性

 

ODS主要是包括一些细节数据,但是由于性能的需要,可能还包括一些汇总数据,如果包括汇总数据,可能很难保证数据的当前性和准确性。ODS中的汇总数据生命周期比较短,所以可称作为动态汇总数据,如果细节数据经过了修改,则汇总数据同样需要修改。而DW中的数据可称为静态的汇总数据。

 

4、数据建模

 

ODS是站在记录层面访问的角度而设计的,DW或DM则是站在结果集层面访问的角度而设计的。ODS支持快速的数据更新,DW作为一个整体是面向查询的。

 

5、查询的事务

 

ODS中的事务操作比较多,可能一天中会不断的执行相同的事务,而DW中事务的到达是可以预测的。

 

6、用途

 

ODS用于每一天的操作型决策,是一种短期的;DW可以获取一种长期的合作广泛的决策。ODS是策略型的,DW是战略型的。

 

7、用户

 

ODS主要用于策略型的用户,比如保险公司每天与客户交流的客服;而DW主要用于战略型的用户,比如公司的高层管理人员。

8、数据量(主要区别之一)

ODS只是包括当前数据,而DW存储的是每一个主题的历史快照;

上图摘录于Corinne Baragoin, Marty Marini, Cellan Morgan, Olaf Mueller, Andrew Perkins, Kiho “Henry” Yim. Building the Operational Data Store on DB2 UDB Using IBM Data Replication, WebSphere MQ Family, and DB2 Warehouse Manager.

分享到:
评论

相关推荐

    dw架构

    CIF强调数据的统一性和一致性,信息流从源系统经过I&T、ODS到EDW,然后到DM,最后到EW。分析结果可以反馈到业务流程,实现信息的闭环管理。 其次,多维体系结构(MD)由Ralph Kimball提出,其特点是将数据仓库分为...

    大数据分层理论介绍ppt

    在给出的资料中,提到了DW五层模型,这是一套典型的大数据分层架构,包括ODS(Operational Data Store,操作数据存储层)、DWD(Data Warehouse Detail,数据仓库明细层)、DW(Data Warehouse,数据仓库层)、DM...

    BI面试宝典

    ODS与数据仓库(DW)的主要区别在于数据的时效性和稳定性。ODS提供动态、实时的数据,而DW提供静态、与时间相关的历史数据。ODS常常作为数据仓库的过渡层。 5. ODS与DM的区别 数据集市(DM)与ODS都用于企业数据...

    (完整word版)数据仓库技术及其在金融行业的应用.pdf

    ODS则介于OLTP和DW之间,它面向主题并部分集成,但支持实时或近实时的数据更新,适用于对数据新鲜度有较高要求的场景。ODS的出现是为了弥补早期数据仓库在实时分析和支持操作型应用方面的不足。 在金融行业,数据...

    数据仓库规范设计.pdf

    - 采用各层级的名称,如`ods`、`dw`等。 - **1.2 数据表命名**: - 由26个英文字母(区分大小写)、0-9数字(较少使用)和下划线`_`组成。 - 全部小写命名。 - 避免使用数据库关键字。 - 表名长度不宜过长...

    (完整word版)数据仓库技术及其在金融行业的应用.docx

    ODS则介于OLTP和DW之间,它支持实时或近实时的数据更新,用于快速响应分析需求,但其数据存储历史可能不如DW长。 在金融行业中,数据仓库技术的应用可以帮助企业应对日益增长的监管压力,提高内部管理和决策效率。...

    数据仓库建设规范模板.pdf

    - **层次划分**:数据仓库被划分为多个层次,包括ODS(操作数据存储)层、DW(数据仓库)层、DM(数据集市)层、DIM(维度表)层、APP(应用层)以及自定义的XX层。每个层次都有特定的用途,例如ODS用于存储原始...

    数据仓库技术及其在金融行业的应用

    数据仓库与数据挖掘(DM)、操作型数据存储(ODS)之间存在密切关系。DM是针对特定部门或应用的数据仓库,而DW则是企业级别的,涵盖了所有分析需求。ODS则介于操作型应用和分析型应用之间,提供实时数据支持,但不...

    京东金融大数据分析平台总体架构-v1.0.pptx

    数据架构方面,京东金融大数据分析平台总体架构-v1.0.pptx采用的数据架构是基于数据仓库的,包括ODS层、DW层和DM层三个部分。ODS层负责原始数据的存储,DW层负责数据仓库的管理,DM层负责数据挖掘和分析。 系统架构...

    数据仓库和商业智能.pptx

    数据仓库系统结构通常包括操作型数据存储(ODS)、数据仓库(DW)和数据集市(DM)。ODS是一个介于操作型系统和数据仓库之间的临时存储区域,提供对最新详细数据的查询。ETL过程负责从数据源提取数据并准备加载到ODS...

    Building The Data Ware house原版

    此外,数据仓库还需要考虑数据分层,通常分为操作数据存储(ODS)、数据仓库(DW)和数据集市(DM)。ODS用于近实时的数据访问,DW用于复杂分析,而DM则是面向特定业务领域的子集,提供更快速的查询响应。 在技术...

    数据仓库与商业智能概述.pptx

    数据仓库通常包含操作型数据存储(ODS)、数据仓库(DW)和数据集市(DM)等组件。ODS是一个短期存储最近的详细数据的区域,用于快速查询;DW是存储大量历史数据的中心,面向主题、集成且相对静态;DM是针对特定用户...

    数据仓库学习

    数据仓库的组织结构通常分为层次,包括操作数据存储(ODS)、数据仓库(DW)和数据集市(DM)。ODS用于短期存储来自业务系统的原始数据,DW是整个数据仓库的核心,存储经过处理的业务数据,DM则是面向特定业务部门或...

    《数据仓库》

    数据仓库通常分为三层:操作数据存储(ODS)、数据仓库(DW)和数据集市(DM)。ODS负责快速处理最近的交易数据,DW用于长期存储和历史分析,而DM则面向特定业务部门提供定制化的数据视图。数据仓库环境还包括元数据...

    数据仓库和商业智能PPT学习教案.pptx

    数据仓库系统结构包括操作型数据存储(ODS)、数据抽取、转换和加载(ETL)、数据仓库(DW)和数据集市(DM)。ODS用于临时存储来自不同源的运营数据,ETL负责从数据源抽取数据并进行清洗和转换,然后加载到数据仓库...

    bi 的一些相关概念总结

    BI的核心目标是利用数据仓库(DW)、OLAP和数据挖掘(DM)技术,将企业中的海量数据转化为可理解的知识,以便于决策者做出明智的业务决策。数据仓库是BI的基础,它是一个面向特定主题、集成、稳定且随时间变化的数据...

    数据挖掘技术在电网运营监控平台建设中的运用 (1).pdf

    例如,数据仓库是系统框架的重要组成部分,它主要包括操作数据存储(ODS)和数据仓库(DW或DM)两大方面。ODS负责业务逻辑的整合和标准化,而DW或DM则是以多元化的数据库结构,满足电网企业对数据库的实际需求,促进...

    大数据应用测试经验总结.pdf

    7. 数据模型层次:ODS(贴源层)存储原始数据,DWD(数据仓库明细层)存储源数据明细,DW(数据仓库层)存储汇总数据,DM(数据集市层)用于特定功能的数据集市。 数据处理过程如下: 1. 数据采集模块收集业务数据...

Global site tag (gtag.js) - Google Analytics