Hive 并发模型
使用案例
并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少,我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁,是有用的。这里没有一个直接的需求添加一个API显式获取锁,所以,所有锁都是隐式获取的。
hive定义一下模式的锁(注意不需要意向锁)
- 共享 (S)
- 排他 (X)
见名知意,多个共享锁可以同时获取,而排他锁会阻塞其他锁。
兼容性列表如下:
|
Existing Lock | S | X |
Requested Lock |
|
|
|
S |
|
True | False |
X |
|
False | False |
对于一些操作,锁的性质是有层次的。例如,一些分区操作,表也是被锁定(例如,保证表的分区正在创建时,表不能被删除)
锁模式获取背后的原理如下:
对于非分区表,锁定模式相当直观。当表正在读取时,一个S锁被获取。而对其他操作(插入数据到表,修改表的任何属性)就要获取X锁。
对于分区表,原理如下:
当读取表分区时,会获取表的S锁。对于其他操作,会获取分区的X锁。但是,如果修改仅仅是针对新分区,就会获取表的S锁,而修改是针对所有分区,会获取表的X锁。
所以,当旧分区读写时,新分区也可以被转换为RCFile。
无论何时,分区被锁定时,会获取所有的它的父节点的S锁。
基于这,操作的锁获取如下:
Hive Command | Locks Acquired |
select .. T1 partition P1 | S on T1, T1.P1 |
insert into T2(partition P2) select .. T1 partition P1 | S on T2, T1, T1.P1 and X on T2.P2 |
insert into T2(partition P.Q) select .. T1 partition P1 | S on T2, T2.P, T1, T1.P1 and X on T2.P.Q |
alter table T1 rename T2 | X on T1 |
alter table T1 add cols | X on T1 |
alter table T1 replace cols | X on T1 |
alter table T1 change cols | X on T1 |
alter table T1 add partition P1 | S on T1, X on T1.P1 |
alter table T1 drop partition P1 | S on T1, X on T1.P1 |
alter table T1 touch partition P1 | S on T1, X on T1.P1 |
*alter table T1 set serdeproperties * | S on T1 |
*alter table T1 set serializer * | S on T1 |
*alter table T1 set file format * | S on T1 |
*alter table T1 set tblproperties * | X on T1 |
drop table T1 | X on T1 |
为了避免死锁,这里提出一个非常简单的计划.所有锁定的对象按照字典排序,然后在按照锁定模式获取。注意一些场景,对象列表可能不知道——例如,动态分 区,编译时不知道正在修改的分区列表。所以,列表会保守生成,由于分区的数量可能不知道,所以会在表或所知的前缀上获取排他锁。
添加两个可配置的参数,决定锁尝试时,锁尝试次数和等待时间。如果重试的次数是非常高的,它可以导致一个活锁。参考zookeeper recipes(http://hadoop.apache.org/zookeeper/docs/r3.1.2/recipes.html#sc_recipes_Locks),理解如何使用zookeeper apis实现read/write锁。需要注意的是,不是等待的锁请求将被拒绝。存在的锁将会释放,然后等待的锁会在尝试周期后继续尝试。
因为锁的分层特性,上面列出的规定recipe将无法正常工作:
表T的S锁规定如下:
调用create( ),创建一个路径名为"/warehouse/T/read-"的节点。协议中,这个锁定的节点会在后面使用。保证设置序列和临时标志。
在锁定的节点调用getChildren( ),不设置watch的标记
如果已经有一个子节点,路径名以"write-"和一个更小的序列号数字开头,已经被获取了,那么这个锁不能被获取。删除第一步骤创建的节点,返回。
否则授权锁。
表T的X锁规定如下:
调用create( ),创建一个路径名为"/warehouse/T/write-"的节点。协议中,这个锁定的节点会在后面使用。保证设置序列和临时标志。
在锁定的节点调用getChildren( ),不设置watch的标记
如果已经有一个子节点,路径名以"read-"或者"write-"和一个更小的序列号数字开头,已经被获取了,那么这个锁不能被获取。删除第一步骤创建的节点,返回。
否则授权锁。
拟定的计算,为了读饥饿了写,如果遇到长时间的读,会导致写的饥饿。
这个默认hive行为不会改变,并发不会支持。
关闭并发
关闭并发,可以修改下面的变量为false: hive.support.concurrency
调试
查看表的锁,可以执行下面的命令:
SHOW LOCKS <TABLE_NAME>; SHOW LOCKS <TABLE_NAME> extended; SHOW LOCKS <TABLE_NAME> PARTITION (<PARTITION_DESC>); SHOW LOCKS <TABLE_NAME> PARTITION (<PARTITION_DESC>) extended;
相关推荐
首先,我们需要理解MySQL与Hive之间的数据模型差异。MySQL通常使用行式存储,支持复杂的事务处理,适合频繁的读写操作;而Hive则采用列式存储,适用于大数据批处理,不支持事务,但适合大规模数据分析。因此,在从...
综合来看,这份“Hive高级分析函数与优化”的资料涵盖了从基础的Hive函数使用到高级的系统优化策略,是深入理解和提升Hive技能的宝贵资源。通过阅读其中的PDF文档,读者可以了解到如何有效地利用Hive进行大数据分析...
8. **Hive的并发性**:Hive支持多用户同时访问,通过Hive Metastore服务来处理并发的元数据访问,并且可以通过配置Hive Server2以支持多会话并发执行。 9. **Hive的生命周期管理**:Hive提供DDL(Data Definition ...
- **数据模型**:Hive的数据存储模型基于文件,数据被组织成表,每个表可以有多个分区,这些分区通常对应于数据的时间戳或地理位置等维度。 - **文件格式**:Hive支持多种文件格式,如TextFile、SequenceFile、...
3. **预处理数据**:根据HBase的存储模型,可能需要对从Hive获取的数据进行预处理。例如,将Hive的宽表转换为HBase的窄行格式,或者按照HBase的行键规则进行数据重组。 4. **批量加载到HBase**:HBase提供了Bulk ...
3. **ACID Transactions**:Hive 2.0开始支持ACID(原子性、一致性、隔离性和持久性)事务,为多用户并发操作提供了更强的保障。 4. **Optimizations**:例如,基于成本的优化器(CBO)使用统计信息来选择最佳查询...
Hive最初由Facebook开发,旨在解决海量数据的存储和统计分析问题,特别是为了简化MapReduce编程模型的复杂性。自2008年贡献给Apache基金会后,Hive逐渐发展成为一个成熟的开源项目,目前最新的稳定版本是hive-2.0.0...
- **数据模型**:Hive的数据模型更接近于文件系统,而传统数据库则采用表格形式。 - **数据存储**:Hive存储在HDFS上,而传统数据库通常存储在本地文件系统或专用的存储设备上。 - **实时性**:传统数据库支持...
面试中可能涉及HiveQL语法、Hive与传统SQL的区别、Hive的元数据存储、以及Hive如何与Hadoop生态系统集成等知识点。 HBase作为NoSQL数据库,是Hadoop生态系统的一部分,用于存储非结构化和半结构化数据。它提供了...
#### 五、采样与锁机制(Hive高级) - **Random sampling**:随机采样。 - **Bucket tablesampling**:基于分桶表的采样。 - **Block sampling**:基于块的采样。 - **Hive锁**:管理并发操作的安全性。 通过以上...
Hive和Hbase的差异主要体现在延迟、数据模型和使用场景上。Hive是高延迟的,适合分析大量静态数据;而Hbase则提供了低延迟的查询,适用于需要快速响应的在线服务。 2. Hive与数据库的比较: - 查询语言:Hive采用...
【标题】:Hive与HBase的集成与应用 【描述】:本压缩包包含Apache Hive 1.2.2和HBase 1.2.6的安装包,旨在介绍如何在大数据处理环境中将这两个组件结合使用,实现高效的数据存储和查询。 【标签】:Hive、HBase、...
为了更好地利用现有Hive生态中的数据资源,Doris提供了与Hive的集成方案。这允许用户在Doris中查询Hive中的数据,无需移动数据,同时也保持了Doris的高性能优势。具体步骤包括: 1. **创建Hive表映射**:在Doris中...
Hive 的优势在于它的易用性,尤其是对于熟悉 SQL 的用户来说,无需学习新的编程模型。此外,Hive 还可以与其他 Hadoop 生态系统组件集成,如 Pig、HBase 和 Spark,实现更丰富的数据处理和分析功能。然而,由于 Hive...
Hive引入了新的并发模型来支持读写并发操作,这对于大型企业的实时数据分析非常重要。 - **使用案例**:支持并发读写操作,提高了系统的整体吞吐量。 - **锁机制**:包括共享锁和排他锁,确保数据的一致性和完整性...
- **并发模型**:Scala通过Actor模型提供了更优雅的并发解决方案,而Java传统上使用多线程模型。 #### 10. Spark的特点 **知识点解析:** - **内存计算**:Spark通过将数据缓存在内存中,显著提高了数据处理的...
迁移Kudu时,需要考虑其独特的存储模型和分布式特性。可能的策略是先导出数据到HDFS,然后使用脚本或工具如Kudu Bulk Import进行数据加载。在新环境中,需要重新创建表结构,并确保主键和副本分布策略的匹配。 再者...
Hive是Apache软件基金会开发的一...以上就是关于Hive基础知识的复习,包括其架构、语言、数据模型、存储、性能优化以及与Hadoop生态系统的交互等方面。掌握这些要点,将有助于理解Hive在大数据处理中的作用和使用方式。
1. `hive.support.concurrency`:设置为`true`启用元数据锁定,以支持并发操作。 2. `hive.enforce.authorization`:设置为`true`开启Hive的权限检查。 3. `hive.metastore.execute.setugi`:设置为`true`,使Hive ...