`
landyer
  • 浏览: 143352 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hive 和数据库的异同

阅读更多

原文地址:http://www.oschina.net/question/12_7936

 

摘要:由于 Hive 采用了 SQL 的查询语言 HQL,因此很容易将 Hive 理解为数据库。其实
从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将
从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是
Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。

Hive 和数据库的比较

查询语言

HQL

SQL

数据存储位置

HDFS Raw Device 或者 Local FS

数据格式

用户定义 系统决定

数据更新

支持 不支持

索引

执行

MapRedcue Executor

执行延迟

可扩展性

数据规模

  1. 查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。
  2. 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
  3. 数据格式。Hive 中没有定义专门的数据格式,数据格式可以由用户指定,用户定义数据格式需要指定三个属性:列分隔符(通常为空格、”\t”、”\x001″)、行分隔符 (”\n”)以及读取文件数据的方法(Hive 中默认有三个文件格式 TextFile,SequenceFile 以及 RCFile)。由于在加载数据的过程中,不需要从用户数据格式到 Hive 定义的数据格式的转换,因此,Hive 在加载的过程中不会对数据本身进行任何修改,而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中,不同的数据库有不同的存储引擎,定义了自己的数据格式。所有数据都会按照一定的组织存储,因此,数据库加载数据的过程会比较耗时。
  4. 数据更新。由于 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive 中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO …  VALUES 添加数据,使用 UPDATE … SET 修改数据。
  5. 索引。之前已经说过,Hive 在加载数据的过程中不会对数据进行任何处理,甚至不会对数据进行扫描,因此也没有对数据中的某些 Key 建立索引。Hive 要访问数据中满足条件的特定值时,需要暴力扫描整个数据,因此访问延迟较高。由于 MapReduce 的引入, Hive 可以并行访问数据,因此即使没有索引,对于大数据量的访问,Hive 仍然可以体现出优势。数据库中,通常会针对一个或者几个列建立索引,因此对于少量的特定条件的数据的访问,数据库可以有很高的效率,较低的延迟。由于数据 的访问延迟较高,决定了 Hive 不适合在线数据查询。
  6. 执行。Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的(类似 select * from tbl 的查询不需要 MapReduce)。而数据库通常有自己的执行引擎。
  7. 执行延迟。之前提到,Hive 在查询数据的时候,由于没有索引,需要扫描整个表,因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟,因此在利用 MapReduce 执行 Hive 查询时,也会有较高的延迟。相对的,数据库的执行延迟较低。当然,这个低是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时 候,Hive 的并行计算显然能体现出优势。
  8. 可扩展性。由于 Hive 是建立在 Hadoop 之上的,因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的(世界上最大的 Hadoop 集群在 Yahoo!,2009年的规模在 4000 台节点左右)。而数据库由于 ACID 语义的严格限制,扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有 100 台左右。
  9. 数据规模。由于 Hive 建立在集群上并可以利用 MapReduce 进行并行计算,因此可以支持很大规模的数据;对应的,数据库可以支持的数据规模较小。

 

分享到:
评论

相关推荐

    Hive4--HIVE元数据库.pdf

    **Hive与普通关系数据库的异同** 尽管Hive基于Hadoop和分布式文件系统,它的元数据组织方式与传统RDBMS类似。像PostgreSQL这样的系统也公开了类似的元数据ID,而Oracle等商业数据库则更倾向于隐藏这些细节。元数据...

    Hive4——HIVE元数据库.pdf

    本文将深入探讨Hive元数据库的原理和功能,以及与传统关系数据库的异同。 首先,Hive的元数据存储在RDBMS(关系数据库管理系统)中,如MySQL和DERBY。MySQL由于其稳定性和强大的性能,常被用作生产环境的元数据库。...

    Hive3--Hive和普通关系数据库的异同.pdf

    《Hive与普通关系数据库的异同》 在大数据领域,Hive作为一款基于Hadoop的数据仓库工具,因其高效的数据处理能力和对SQL的兼容性,成为数据分析师和工程师的重要选择。然而,与传统的关系型数据库相比,Hive有着...

    Hive3——Hive和普通关系数据库的异同.pdf

    《Hive与普通关系数据库的异同》 Hive与普通关系数据库,如MySQL、Oracle等,在设计理念、功能特性和应用场景上存在着显著的差异。以下将详细解析它们之间的主要区别。 1. **查询语言**: Hive采用了类SQL的查询...

    hive的学习资料

    1.3 Hive 和普通关系数据库的异同 - **相同点**:都提供数据存储和查询功能。 - **不同点**:Hive 更侧重于离线批处理,而传统数据库适用于在线事务处理;Hive 对实时查询支持较差,适合大规模数据仓库。 1.4 ...

    hive学习必备经典(百度)

    Hive和普通关系数据库的异同 Hive和普通关系数据库的最大区别在于数据存储方式。普通关系数据库使用磁盘存储数据,而Hive使用Hadoop的分布式文件系统(HDFS)来存储数据。同时,Hive也提供了类似于关系数据库的SQL...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    3. Hive和普通关系数据库的异同 Hive和普通关系数据库的主要区别在于数据存储和查询方式。普通关系数据库一般使用B-tree索引来存储数据,而Hive使用HDFS来存储数据。普通关系数据库使用SQL语句来查询数据,而Hive...

    Hive用户手册)_中文版.pdf

    1.3 Hive和普通关系数据库的异同 Hive和普通关系数据库有很多相似之处,但也存在一些差异。Hive是基于Hadoop的数据仓库工具,支持大规模数据的存储和处理,而普通关系数据库通常用于小规模数据的存储和处理。同时,...

    Hive学习笔记整理.pdf

    本文档是关于Hive学习笔记的整理,涵盖了Hive的架构、Hive和Hadoop的关系、Hive和普通关系数据库的异同、Hive的元数据库、Hive数据存储、Hive的基本操作等知识点。 1. HIVE结构 Hive的架构主要包括三个部分:用户...

    阿里巴巴Hive学习笔记.docx

    - **异同**:Hive与传统RDBMS的主要区别在于Hive不支持实时查询和事务处理,更适合批处理和离线分析。它的设计目标是处理大规模数据集,而RDBMS更适合处理小到中等规模的数据,且对实时性和事务性有较高要求。然而...

    分布式数据仓库Hive大全

    1.3 Hive 和普通关系数据库的异同 8 1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 ...

    Hive用户指南

    1.3 Hive 和普通关系数据库的异同 Hive类似于传统的关系数据库,支持SQL查询,但并不像传统数据库那样提供实时查询和事务处理。Hive更适用于批处理分析,适合处理大量静态数据。 1.4 HIVE 元数据库 元数据库存储...

    Hive用户指南 Hive user guide 中文版

    **1.3 Hive与传统关系型数据库的异同** - **相同点**:Hive支持SQL风格的查询语言,使得熟悉SQL的用户能够快速上手。 - **不同点**:与传统的RDBMS相比,Hive的数据模型更加面向批处理,不支持事务处理,也没有行级...

    hive用户指南

    3. **Hive与普通关系数据库的异同** Hive虽然提供了类似SQL的查询语言,但它并不像传统的关系型数据库那样支持实时查询和事务处理。Hive更适合批处理分析,其数据更新和删除操作相对复杂。此外,Hive的性能取决于...

    hive学习笔记

    4. **Hive和普通关系数据库的异同** Hive类似于关系数据库,支持创建表、查询数据等操作,但不支持事务和ACID属性。它适合批处理查询,而非实时查询。Hive的数据延迟较高,因为每次查询都需要转换成MapReduce任务...

    Hive用户指南(Hive-user-guide)-中文版.doc

    3. **Hive与普通关系数据库的异同** Hive类似于关系数据库,因为它支持SQL查询,但也有显著区别。例如,Hive的查询执行是延迟的,只有在真正需要结果时才运行MapReduce任务;此外,Hive不支持事务,对于数据更新和...

    hive学习笔记-比较全的知识

    ### Hive与传统关系数据库的异同 - **查询语言**:Hive使用类SQL的HQL查询语言,便于SQL开发者使用。 - **数据存储位置**:Hive的数据存储在HDFS上,与传统数据库存储在块设备或本地文件系统不同。 - **数据格式**...

Global site tag (gtag.js) - Google Analytics