`
kabike
  • 浏览: 609144 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

也谈数据仓库的存储

阅读更多
数据仓库一般侧重于OLAP型操作,区别于OLTP的"于乱军中取敌上将首级"的低延迟要求,OLAP更要求大数据的处理速度.因为OLTP侧重于对单个数据的处理,比如快速找到某条订单,而OLAP侧重于整体数据的把握,比如订单销量的地区分布.

Infobright是mysql的数据仓库解决方案,而hive是基于Hadoop的数据仓库平台,要探索数据仓库的时候,发现两者在存储上有很多共同之处,比如按列存储,数据块粗粒度索引.

按列存储,有利于减少硬盘IO.因为OLAP的操作,往往只涉及到部分的列.而且同一列的数据类型一致,可以有效的压缩..





数据块粗粒度索引,则更容易的判断整个数据块是否命中.




详细内容可以参阅
http://download.csdn.net/detail/kabike/8069505
http://download.csdn.net/detail/kabike/8069509

  • 大小: 26.2 KB
  • 大小: 17.2 KB
分享到:
评论

相关推荐

    [原创]从数据仓库到数据湖——浅谈数据架构演进1

    数据存储层则分为数据仓库和数据 mart,前者存储全量数据,后者针对特定主题进行定制;数据处理层用于数据清洗、聚合和转换;最后,应用层提供报表、仪表盘等用户界面,供业务人员进行查询和分析。 5. 数据立方体 ...

    浅谈数据仓库中的元数据管理技术

    "浅谈数据仓库中的元数据管理技术" 元数据管理是数据仓库中的一个关键组件,它为数据仓库管理员、开发人员和最终用户提供了方便快捷地找到所需数据的方法。元数据是关于数据的数据,描述了数据仓库内数据的结构和...

    数据仓库中浅谈数据清洗

    "数据仓库中浅谈数据清洗" 数据仓库是指在金融企业中,收集、存储和管理大量业务数据的系统。数据仓库中的数据清洗是指对存储在数据仓库中的数据进行处理和转换,以便使其能够正确地用于业务分析和决策。 数据清洗...

    构建银行数据仓库经验谈

    数据仓库在银行领域的应用是一项复杂而关键的任务,旨在整合分散在不同系统中的大量业务数据,以便进行有效的分析和决策支持。构建银行数据仓库涉及到多种技术和策略,本文将深入探讨其中的关键点。 首先,数据仓库...

    浅谈数据仓库和数据挖掘技术.pdf

    数据仓库是面向企业或组织内部及外部的决策支持系统(DSS)的数据集合。它的核心是集成、面向主题、不可更新的数据集合,特点是随着时间的变化而不断演变,以支持决策制定。数据仓库的建立是为了将企业的内部和外部...

    从数据仓库到数据湖——浅谈数据架构演进

    随着1990年代企业对商业智能的需求增加,数据仓库应运而生,用于集中存储和分析来自多个操作数据库的数据,为企业决策提供支持。数据仓库的关键技术包括数据建模、ETL(抽取、转换、加载)、OLAP(在线分析处理)和...

    浅谈数据仓库与数据挖掘技术及应用.pdf

    数据库存储实时数据,数据仓库存储历史数据;数据库设计追求范式以减少冗余,数据仓库则引入冗余以方便分析;数据库关注数据的捕获,数据仓库关注数据的分析,且数据仓库由维表和事实表构成。 数据挖掘的定义与功能...

    浅谈数据挖掘与数据仓库.pdf

    3. 时变的数据集合,数据仓库存储的信息包括历史数据,使得可以对企业发展的历史和未来趋势进行分析。 4. 非易失的数据集合,数据仓库主要供决策分析使用,数据的操作主要是查询、加载和刷新,而不是修改或删除,...

    谈数据仓库与数据挖掘教学研究.pdf

    在信息技术高速发展的今天,数据仓库与数据挖掘成为了学术和行业研究的重点领域。数据仓库作为一种面向主题的、集成的、非易失的并且随时间变化的数据集合,其目的是进行有效的数据分析。而数据挖掘则是在大量数据中...

    浅谈数据仓库和大数据.pdf

    首先,数据仓库是一个专门用于数据分析和决策支持的系统,它从各种不同的数据源收集数据,并对其进行整合、清洗和存储。不同于传统的数据库,数据仓库更注重数据的历史性和稳定性,以支持复杂的分析操作。常见的数据...

    浅谈数据仓库中的元数据管理技术.docx

    数据仓库是现代企业管理和决策支持的关键工具,它整合了来自不同源的数据,为分析和洞察提供了统一视图。元数据管理则是确保数据仓库有效运行的核心组成部分。本文将深入探讨元数据在数据仓库中的作用,以及元数据...

    浅谈数据仓库建设中的数据建模方法

    ### 数据仓库建设中的数据建模方法 #### 一、数据模型与数据仓库模型的理解 **数据模型**是一种抽象工具和方法,它通过定义实体及其之间的关系来映射现实世界中的事物及其相互作用。数据模型的核心在于它能清晰地...

    浅谈油田信息数据仓库及数据挖掘.pdf

    文章“浅谈油田信息数据仓库及数据挖掘”主要探讨了在油田行业中,如何建立数据仓库来有效进行数据挖掘,从而帮助企业做出更好的决策,并且针对我国石油企业在数据挖掘领域与国际大型石油企业之间存在的差距,提出了...

    数据库系统实现论文之“浅谈数据仓库和数据挖掘本质”

    首先,数据仓库(Data Warehouse)是为企业决策提供支持的集成化信息存储系统。它从各个业务系统中抽取、清洗、转换数据,并将其存储在一个集中式的、非易失的环境中,以供分析和报告使用。企业数据仓库(Enterprise...

    浅谈数据仓库及其在SQL中的构建分析.pdf

    建立数据仓库的步骤主要包括:收集和分析业务需求、建立数据模型和数据仓库的物理设计、定义数据源、选择数据仓库技术和平台、从操作型数据库中抽取、净化和转换数据到数据仓库、选择访问和报表工具、选择数据库连接...

    浅谈数据仓库技术在高等教育自学考试中的应用

    数据仓库技术是一种用于企业级数据存储、管理和组织的信息技术,它支持复杂查询和数据分析,非常适合于高等教育自学考试信息系统的管理和决策支持。随着报考规模的扩大和考生结构的不断变化,对教育考试管理信息系统...

    浅谈数据仓库技术在高等教育自学考试中的应用.docx

    首先,数据仓库技术是数据存储和组织的关键,它能够整合来自不同源头的多样化数据,如考生信息、管理信息、成绩档案信息和开考课程计划等。这些数据以往可能存储在光盘或磁盘等媒介中,无法得到有效利用。通过构建...

    谈对数据库,数据仓库,数据挖掘的认识和理解.pdf

    在本文的案例中,沃尔玛通过分析其数据仓库中的历史交易数据,发现购买尿布的顾客往往也会购买啤酒。这个看似不相关的商品组合背后,实际上反映了特定消费行为和市场需求。沃尔玛利用这个发现,调整商品的摆放策略,...

Global site tag (gtag.js) - Google Analytics