`
yinchunjian
  • 浏览: 283103 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

关于oLTP和OLAP的学习

阅读更多

联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。
  OLTP OLAP
用户 操作人员,低层管理人员 决策人员,高级管理人员
功能 日常操作处理 分析决策
DB 设计 面向应用 面向主题
数据 当前的, 最新的细节的, 二维的分立的 历史的, 聚集的, 多维的集成的, 统一的
存取 读/写数十条记录 读上百万条记录
工作单位 简单的事务 复杂的查询
用户数 上千个 上百个
DB 大小 100MB-GB 100GB-TB


 
 

         

             oltp数据                    olap数据
 原始数据 导出数据   
细节性数据 综合性和提炼性数据   
当前值数据 历史数据   
可更新 不可更新,但周期性刷新   
一次处理的数据量小 一次处理的数据量大   
面向应用,事务驱动 面向分析,分析驱动
面向操作人员,支持日常操作     面向决策人员,支持管理需要


OLTP是通过物化,即是经过逻辑运算和改变储存方式将关系型数据库转为数据仓库.
物化的好处是可以存储中间的结果,决策时由于数据经过处理能快一点.
坏处是表现的逻辑会更复杂,更储存空间加大,备份难和维护管理不方便等缺点.

在数据处理中,有三种,一是全物化,也即物化,二是不物化(但决策处理会慢),三是部分物化,(根据情况而设计的.)
使用物化要考虑的条件有
查询的对象
使用频率
开销

olap系统的体系结构和分类
数据仓库与olap的关系是互补的,现代olap系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到olap存储器中供前端分析工具读取。典型的olap系统体系结构如下图所示:
 

olap系统按照其存储器的数据存储格式可以分为关系olap(relational olap,简称rolap)、多维olap(multidimensional olap,简称molap)和混合型olap(hybrid olap,简称holap)三种类型。
1.    rolap
rolap将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个sql查询都作为实视图保存,只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对olap服务器的查询,优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作rolap存储器的rdbms也针对olap作相应的优化,比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、sql 的olap扩展(cube,rollup)等等。
2.    molap
molap将olap分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。由于molap采用了新的存储结构,从物理层实现起,因此又称为物理olap(physical olap);而rolap主要通过一些软件工具或中间软件实现,物理层仍采用关系数据库的存储结构,因此称为虚拟olap(virtual olap)。
3.    holap
由于molap和rolap有着各自的优点和缺点(如下表所示),且它们的结构迥然不同,这给分析人员设计olap结构提出了难题。为此一个新的olap结构——混合型olap(holap)被提出,它能把molap和rolap两种结构的优点结合起来。迄今为止,对holap还没有一个正式的定义。但很明显,holap结构不应该是molap与rolap结构的简单组合,而是这两种结构技术优点的有机结合,能满足用户各种复杂的分析请求。


本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/jiang5460/archive/2006/11/08/1374547.aspx

分享到:
评论

相关推荐

    基于Oracle的OLTP与OLAP数据库设计及实现

    随着企业业务的扩展,对于数据处理的需求也愈加复杂,OLTP(在线事务处理)和OLAP(在线分析处理)这两种数据库架构变得尤为重要。OLTP系统侧重于日常的事务处理,如增加、删除、修改等,强调处理速度、数据一致性及...

    基于Oracle的OLTP与OLAP数据库内存设计和优化.pdf

    基于Oracle的OLTP与OLAP数据库内存设计和优化.pdf

    OLTP和OLAP技术融合架构实践.pptx

    在线事务处理(OLTP)和在线分析处理(OLAP)是两种不同但互补的数据处理模式。OLTP主要关注于日常事务处理,如银行交易、电子商务订单等,强调高并发、低延迟和数据的一致性。而OLAP则专注于数据分析和报告,适合大...

    OLTP与OLAP差异

    在信息技术领域,OLTP(联机事务处理)和OLAP(联机分析处理)是两种核心的数据处理方式,它们各自服务于不同类型的业务需求,拥有截然不同的特性和应用场景。本文旨在深入探讨这两种数据处理方式的含义、特点以及...

    OLTP和OLAP技术融合的探索实践_梁福坤@饿了么 百度外卖.pdf

    通过这些组件和技术的结合应用,可以设计出满足复杂业务场景需求的数据处理和分析解决方案,不仅能够处理实时的业务事务,同时也能执行深入的数据分析,充分发挥OLTP和OLAP各自的优势,实现数据的价值最大化。

    OLTP和OLAP的区别

    综上所述,OLTP和OLAP虽然都属于数据处理范畴,但在设计理念、应用场景和技术实现上存在明显差异。OLTP侧重于实时性、一致性和高并发处理,而OLAP则更加强调数据的聚合分析能力和复杂查询的支持。企业在构建信息系统...

    OLTP与OLAP的区别精简总结

    ### OLTP与OLAP的区别精简总结 #### 当今数据处理分类 当今的数据处理领域大致可以分为两大类:联机事务处理(Online Transaction Processing,简称OLTP)与联机分析处理(Online Analytical Processing,简称OLAP...

    基于Oracle的OLTP与OLAP数据库设计及实现.pdf

    在本文中,我们将介绍OLTP和OLAP数据库设计及实现的概念,并讨论基于Oracle的OLTP和OLAP数据库设计技术。 OLTP(On-Line Transaction Processing)和OLAP(On-Line Analytical Processing)是两种不同的数据库应用...

    6-5+腾讯广告OLTP_OLAP实践.pdf

    本文主要介绍了腾讯广告在OLTP(在线事务处理)和OLAP(在线分析处理)方面的实践,涉及到的技术栈包括Spark Streaming、HBase、Phoenix、Hermes等,并讨论了如何优化数据处理流程以提升效率和数据一致性。...

    OLTP和OLAP技术融合的探索实践_.zip

    在数据库领域,OLTP(在线事务处理)和OLAP(在线分析处理)是两种关键的技术类型,它们分别服务于不同的业务需求。OLTP主要用于处理日常的事务性操作,如银行交易、零售销售等实时数据录入和查询,而OLAP则专注于...

    数据处理OLTP与OLAP的概念.pdf

    数据处理领域中的OLTP(在线事务处理)与OLAP(在线分析处理)是两种关键的系统类型,分别针对不同的业务需求。...因此,理解并合理运用OLTP和OLAP的概念和技术,对于构建高效、灵活的数据处理架构至关重要。

    OLTP与OLAP系统数据库建模思考与实践

    为了更好地满足不同场景下的数据处理需求,出现了两种主流的数据处理方式:联机事务处理(Online Transaction Processing,简称OLTP)和联机分析处理(Online Analytical Processing,简称OLAP)。这两种处理方式各...

    Bats面向OLTP、OLAP、批处理、流处理场景的大一统SQL引擎

    其中,Bats作为一个面向OLTP(在线事务处理)、OLAP(在线分析处理)、批处理和流处理场景的大一统SQL引擎,为数据处理提供了高效且灵活的解决方案。本文将深入探讨Bats的关键特性、应用场景及其技术优势。 首先,...

    TutorialForDataSciencte#ds-gitbook_build#OLTP与OLAP1

    OLTP与OLAP数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)联机分析处理OLAP(On-L

    OLTP与OLAP业务系统的Oracle优化思路[归类].pdf

    Oracle数据库在OLTP(联机事务处理)和OLAP(联机分析处理)系统中的优化策略各有侧重,主要体现在对系统特性的理解和针对不同业务需求的调整。 1. **数据库业务类型分类** - **OLTP**:主要服务于日常事务处理,...

    数据库 OLAP、OLTP的介绍和比较

    在线事务处理(OLTP)和在线分析处理(OLAP)是数据库系统中的两种核心操作模式,它们各自针对不同的业务需求。 OLTP,全称为在线事务处理,是大多数企业日常运营的核心,尤其适用于银行、电子商务、证券等需要频繁...

    PG专场:数据在PG中的升华 -流计算,OLTP,OLAP(德歌).pdf

    PG,即PostgreSQL,是一种开源的对象关系型数据库系统,以其稳定性、可靠性、高性能而著称,广泛应用于OLTP(在线事务处理)、OLAP(在线分析处理)和流计算等多个领域。 在OLTP领域,PostgreSQL提供了一套完善的...

    蝙蝠:面向OLTP,OLAP,批处理,流处理场景的大一统SQL引擎

    蝙蝠面向OLTP,OLAP,批处理,流处理场景的大一统SQL引擎开发环境JDK 1.8以上Maven的3.3+需要先执行mvn eclipse:eclipse,否则项目里用到的一些java源文件会发现,这些java源文件是通过模板生成的。模块依赖关系...

    TRC:有效支持 OLTP 和 OLAP 工作负载并发执行的事务行列存储

    在现代的数据库系统中,处理在线事务处理(OLTP)和在线分析处理(OLAP)工作负载的并发执行是一项挑战。传统的数据库系统通常为这两种不同的工作负载设计了专门的存储结构,但这样的分离可能导致资源利用率低和性能瓶颈...

Global site tag (gtag.js) - Google Analytics