`
jiezhu2007
  • 浏览: 246030 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
博客专栏
Cfa1f850-3fc3-3a36-9cd8-c3415c9610c6
hadoop技术学习
浏览量:144486
Group-logo
大数据产业分析
浏览量:2986
社区版块
存档分类
最新评论

大数据数据仓库-场景

阅读更多

大数据仓库-场景 

2015-10-24 朱洁 hadoop技术学习
传统OLTP/OLAP之分

数据仓库里面有OLTP/OLAP之分,OLTP是传统关系型数据库的主要应用,其主要面向基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

 

大数据场景下的同与不同

 

1、大数据时代,大数据仓库面对的最基本,最典型的场景还是传统的OLAP场景,最明显的区别是数据规模的急剧膨胀,从传统的单表千万级,到现在单表百亿,万亿。维度也从传统的几十维到现在的一些互联网企业可能存在的万维。因为系统的交互对象是人,虽然数据量的急剧变大,系统的响应延迟要求仍能是秒级。下图是阿里ads对当前业界一些常见的分析仓库从支持的规模和响应时间上的分类,有一定的参考意义。



 

 

2、大数据时代,数据价值越来越大,分析手段和分析工具的越来越多。传统sql包打天下的局面可能就不行了,sql,python,R,BI工具/可视化工具都有需求。所以除了性能之外,大数据仓库必然在接口上需要做更多。

3、云化带来的挑战。it基础设施云化的趋势不可逆转。云上的易用,安全,可服务性都是很大的挑战。

 

 

 

 

阅读原文
 

微信扫一扫
关注该公众号

  • 大小: 354.7 KB
2
1
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    大数据开发--hadoop全套学习课程--百度网盘

    Hive是基于Hadoop的数据仓库工具,允许用户使用SQL(HQL)语言进行数据查询、分析和管理。它将SQL语句转换为MapReduce作业,简化了对Hadoop集群上大规模数据的操作。 HBase是一个分布式的、面向列的NoSQL数据库,它...

    大数据系列2020-数据仓库资料2.zip

    本压缩包“大数据系列2020-数据仓库资料2.zip”包含了四个与大数据和数据仓库相关的资源,旨在帮助读者深入理解这一领域的核心概念和技术。 1. 《大数据之路:阿里巴巴大数据实践》.pdf 这本书揭示了阿里巴巴集团在...

    打怪升级之小白的大数据之旅--hive测试数据

    Hive作为一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得非程序员也能对大数据进行分析。 首先,我们来看一下“user”和“video”这两个文件名。在大数据的场景...

    基于大数据的数据仓库-数据仓库建模基本理论.pdf

    在大数据的场景下,数据仓库建模通常采取两种主要的建模方法:ER实体模型和维度建模。ER实体模型基于实体、属性和关系的概念,是一种广泛应用于信息系统的设计方法。它将事务抽象为实体和关系来表示数据的关联性,...

    大数据作业homework-master.zip

    Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得非编程背景的用户也能对大数据进行分析。HBase是基于Hadoop的分布式列式数据库,适合存储半结构化或非结构化的...

    大数据面试题---.rar

    面试还可能涉及大数据项目的经验,如数据湖、数据仓库的建设,以及大数据治理和安全。面试者应准备分享自己在实际项目中的角色,解决问题的方法,以及如何处理大数据的挑战。 以上所述涵盖了大数据面试中的主要知识...

    全球大数据案例汇编-行业篇193个案例.pdf

    例如,书中提到了IBM如何利用大数据解决方案来帮助客户解决复杂问题,这可能包括数据集成、数据仓库建设以及高级分析等。此外,书中还深入讨论了数据可视化和大数据平台的构建,这些都是企业进行有效数据分析的关键...

    大数据、数据仓库-元数据说明书.docx

    元数据在大数据和数据仓库领域扮演着至关重要的角色,它为数据管理和分析提供了基础性的指导。元数据说明书详细地描述了数据的各个层面,确保数据的准确性和有效性。以下是元数据说明书的关键知识点: 1. **元数据...

    大数据-squirrel-sql-3.9.1_大数据

    其次,用户界面的改进使得数据操作更为直观和高效,用户可以更轻松地浏览和管理大数据仓库。此外,此版本还增强了对多种数据库系统的支持,进一步拓宽了其在大数据环境中的应用范围。 在大数据项目中,数据的可视化...

    大数据公开课-八斗公开课_第1次.zip

    课件“八斗公开课_第1次.pdf”很可能是课程的讲义,涵盖了大数据的基础概念、Hadoop框架的介绍,以及可能涉及的其他相关技术,如Hive(用于数据仓库)、Pig(高级数据流语言)、Spark(快速的大数据处理引擎)等。...

    决战大数据之巅-面试习题

    数据仓库和数据湖都是用于存储和处理大量数据的技术,但它们在数据的组织方式和使用目的上有所不同。 **详细解析:** 1. **数据仓库:** - **定义:** 数据仓库是一个用于存储企业或组织中所有级别的数据的系统。 ...

    大数据基础--大数据可视化(刘鹏《大数据》课后习题答案).pdf

    - 探索多维数据的分布规律,揭示不同维度间的关联,常见于数据库和数据仓库应用。 8. 大数据可视化软件和工具: - Excel:通用电子表格软件,也支持基本的图表创建。 - Processing:编程环境,专为可视化设计,...

    大数据+常雷-新一代数据仓库:Apache+HAWQ

    大数据技术的迅猛发展催生了新一代的数据仓库解决方案。Apache HAWQ作为一款先进的数据仓库产品,其创始人是常雷博士。常雷博士作为偶数科技的首席执行官,一直致力于HAWQ产品的开发和推广。本文将深入探讨HAWQ的...

    大数据技术峰会-金融投资大数据实践分享.zip

    7. **大数据平台建设**:金融机构通常构建自己的大数据平台,包括数据仓库、数据湖和数据集市,实现数据的一体化管理。 8. **案例研究**:会议可能涉及具体金融机构如何运用大数据技术改进投资决策,例如通过实时...

    48-大数据技术教学大纲-大数据技术基础-宋旭东-清华大学出版社.docx

    2. 大数据存储与管理:讲解大数据存储与管理的基本理论,涵盖NoSQL数据库、分布式存储技术,如HDFS(Hadoop Distributed File System)和HBase(分布式列式数据库),以及Hive(分布式数据仓库系统)的工作原理。...

    2023.01-人工智能与大数据市场趋势-IDC-18页.pdf

    企业不仅需要处理传统的数据库、数据仓库,还面临着大数据和数据湖的挑战。现在,企业正在寻求将这些分散的数据源整合成湖仓一体的解决方案,以实现更高效的数据管理和分析。 2. **平台型厂商竞争格局持续演变** ...

    大数据系列2020-数据迁移工具资料汇总(sqoop、kettle、datax).zip

    Kettle则因其强大的ETL能力和灵活的调度功能,常被用在数据仓库建设和持续集成场景;而DataX更偏向于实时或准实时的数据同步,适用于需要快速响应的数据流处理。 在学习和使用这些工具时,你需要了解它们的基本配置...

    2018年工业大数据创新竞赛-钢卷仓储吞吐量趋势预测.zip

    在这个竞赛中,参与者可能需要利用大数据技术和机器学习算法来预测未来某一时间段内仓库的钢卷收发量,以此提升供应链管理和生产效率。 【描述解析】 描述部分只给出了与标题相同的文字,即"2018年工业大数据创新...

    大数据开发教程-介绍大数据开发的基本概念、技术架构、工具和案例,并提供一些总结和建议

    - **Hive**:基于Hadoop的数据仓库工具,提供SQL查询功能。 - **Pig**:简化Hadoop数据处理过程的高级语言。 - **MapReduce**:Hadoop的核心计算模型之一,用于大规模数据集的并行处理。 4. **大数据分析工具**...

Global site tag (gtag.js) - Google Analytics