目前使用的hive版本为0.70,看了一下0.80和0.90的新特性,还是有蛮多实用的东西,
主要是性能的提升,但是metastore变动较大,升级有一定的风险,目前正在测试:
0.80:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12316178
0.90.0:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12317742
1. 支持CREATE OR REPLACE VIEW
2. 增加错误提示
3. 支持NOT IN 和 NOT LIKE
4. Ctrl+c将会提交kill命令,kill掉当前运行的query job,并且不会退出hive cli
5. 输出map数和reduce数
6. 提升"select xx,xx from xxx LIMIT xxx"性能
7. 支持BETWEEN操作
8. PRINTF()函数
9. COALESCE/UNION ALL操作时候对数据类型宽限
10. 增加TIMESTAMP数据类型
11. 增加"INSERT OVERWRITE TABLE X PARTITION (a=b, c=d) IF NOT EXISTS ..."操作,如果分区存在,则不会动.
12. 提升hive任务提交后任务编译和启动的性能。
分享到:
相关推荐
【Hive性能优化及Hive3新特性】 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,常用于大规模数据处理和分析。本章节主要探讨如何优化Hive的性能,以及Hive3引入的新特性。 1. **分区表与分桶表优化** ...
在Hive的元数据中,包括表的注释、字段的注释等信息,这些在原版的Hive 0.80中可能会出现乱码或者无法正确显示的情况。元数据是Hive用于理解数据结构和查询语义的关键部分,如果不能正确处理中文,将直接影响到用户...
9. **用户培训**:Hive 4.0 可能引入了新的特性和语法,因此对使用 Hive 的团队进行培训是必要的,以帮助他们熟悉新版本的变化。 10. **故障恢复计划**:尽管我们期望一切顺利,但始终要准备好回滚计划。如果发现...
在CDH5到CDH6的升级过程中,Hive用户需要注意一些重要的不兼容特性,特别是与`UNION ALL`操作和表格式更改相关的方面。这些差异可能会对查询结果和数据完整性造成影响,因此在进行升级时应谨慎处理。 首先,CDH6...
在大数据处理领域,Hive是一个非常重要的工具,它提供了一个基于Hadoop的数据仓库...在实际生产环境中,你可能还需要配置其他高级特性,如Hive与Hadoop安全性的集成、优化性能参数等,这都需要根据具体需求进行调整。
在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...
8. **安全与权限**:讲解Hive的安全机制,如Hive Metastore的权限控制、Hive SQL标准的ACID特性和审计功能。 9. **案例研究**:通过实际案例展示如何在业务场景中应用Hive,解决具体问题。 10. **最新发展与未来...
hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema...
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...
Hive 1.1.0是Hive的一个版本,提供了改进的性能、稳定性和新特性。本文将详细探讨Hive驱动1.1.0以及如何使用DataGrip进行连接。 首先,Hive驱动是连接Hive服务器并与之通信的关键组件。它实现了Hive的客户端接口,...
Hive的每个版本都会引入新的特性和性能优化,同时也修复了前一版本中的问题。Hive 3.1.1可能包含如增强的查询优化、更好的SQL兼容性、元数据改进等特性。 Hive的jar包通常包括以下几个核心部分: 1. **Hive Client...
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive ...数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
例如,一个较早版本的Hive可能不支持某些高级SQL特性,而较新版本可能已经实现了这些特性。因此,选择与你的Hadoop集群和Hive版本兼容的jar包是非常重要的,以确保程序的稳定性和兼容性。 在实际开发中,如果你的...
在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得用户可以使用SQL语句来处理存储在Hadoop分布式文件系统(HDFS)上的大数据。...
《DBeaver与Hive连接:hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的...
2. **研究Hive SQL语法**:熟悉Hive SQL的特性和与标准SQL的不同之处,例如Hive的JOIN操作、分区查询、窗口函数等。 3. **创建Hive SQL的Antlr4语法规则**:根据Hive SQL的语法特性,编写对应的Antlr4语法规则文件...
3. **导入驱动**:在创建新的Hive数据源时,系统可能找不到默认的Hive驱动。这时,你需要提供刚刚解压的“hive-denpendencies”中的JAR文件。找到包含“org.apache.hive.jdbc.HiveDriver”的JAR文件,通常是“hive-...
9. **ACID特性**:从Hive 2.0开始,Hive支持事务(Transactions)、原子性(Atomicity)、一致性(Consistency)和隔离性(Isolation),提供了更强大的数据一致性保证。 10. **Hive与Java的关系**:虽然Hive提供了...