`

hive配置详解

    博客分类:
  • hive
阅读更多

hive中有许多配置将帮助我们提升性能,其详细配置如下:

 

1、hive.auto.convert.join  默认值为true

是否根据输入小表的大小,自动将 Reduce 端的 Common Join 转化为 Map Join,从而加快大表关联小表的 Join 速度。 

 

2、hive.groupby.skewindata 默认值为false

用于决定 group by 操作是否支持倾斜的数据,即将数据进行负载均衡。原理是,在Group by中,对一些比较小的分区进行合并。

 

3、hive.default.fileformat 默认值为TextFile

Hive 默认的输出文件格式,与创建表时所指定的相同,可选项为 'TextFile' 、 'SequenceFile' 或者 'RCFile'

 

4、hive.mapred.mode 默认值为nonstrict

Map/Redure 模式,如果设置为 strict,将不允许笛卡尔积

 

5、hive.exec.reducers.max 默认值为999

用于设置reducer 个数的上限

 

6、hive.exec.compress.output 默认值为false

决定查询中最后一个 map/reduce job 的输出是否为压缩格式

 

7、hive.exec.parallel和hive.exec.parallel.thread.number

hive.exec.parallel用于设置job是否并行执行,默认hive.exec.parallel为false

hive.exec.parallel.thread.number 默认值为8,这个是要在hive.exec.parallel=true的情况才起效果,这个是用于设置并行度

 

8、hive.exec.max.dynamic.partitions  默认值为1000

所允许的最大的动态分区的个数。可以手动增加分区。

9、hive.exec.max.dynamic.partitions.pernode 默认值为 100
单个 reduce 结点所允许的最大的动态分区的个数

 

10、hive.exec.default.partition.name 
默认的动态分区的名称,当动态分区列为''或者null时,使用此名称:'__HIVE_DEFAULT_PARTITION__'

 

11、set hive.exec.max.created.files 默认值为100000

这个是用于设置文件个数,当文件个数超过默认值时,程序会报如下错误:

total number of created files now is 100013, which exceeds 100000

简单解决方法是设置更大值就行

 

 

 

先写这么多,后续再加

分享到:
评论

相关推荐

    hive等配置文档

    【Hadoop与Hive配置详解】 Hadoop是一个开源框架,主要用于分布式存储和处理大量数据,而Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大数据量的离线分析...

    Hive配置和基本操作 (2).pdf

    【Hive配置详解】 Hive是基于Hadoop的数据仓库工具,它允许通过SQL-like语言对大规模数据进行查询、分析和管理。在Hive的配置过程中,我们需要关注以下几个关键步骤: 1. **安装与环境配置**: - 首先,你需要将...

    hive参数配置说明大全

    Hive参数配置说明大全 Hive是一款基于Hadoop的数据仓库工具,用于数据的存储、查询和分析。在Hive中,参数配置起着非常重要的作用,它可以影响Hive的性能、安全性和执行效率。本文将对Hive的参数配置进行详细的解释...

    Hive安装与配置的教程.md

    #### 三、Hive配置详解 - **配置Hive-site.xml** - 如果不存在`hive-site.xml`文件,需要从`hive-default.xml.template`文件复制一个。 - 编辑`hive-site.xml`,根据实际情况配置内容。例如设置Hive元数据库的位置...

    HIVE安装及详解

    * 配置HIVE环境变量 * 启动HIVE服务 使用方式: * 使用HIVE命令行工具执行查询 * 使用HIVE API开发应用程序 * 使用HIVE与其他工具集成 HIVE是一种功能强大且灵活的数据仓库工具,广泛应用于大数据分析和处理领域...

    hadoop hive 安装指南

    ### Hadoop Hive 安装与配置详解 #### 一、Hadoop Hive 概述 Hadoop Hive 是一种基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,使不熟悉 MapReduce 的开发...

    hive参数配置手册、hive参数配置大全

    非常全面的hive参数配置,总共有600多项,中文注释是用软件翻译的,勉强能看,引用请注明出处。

    大数据技术中Hive安装与配置详解

    内容概要:本文档提供了详尽的Hive安装与配置指南,涵盖Hive的下载与解压、配置环境变量、创建Hive配置文件以及配置MySQL作为元数据存储的具体步骤。针对每步操作都给出了具体的操作命令,并对关键配置项进行了详细...

    Hive on Spark安装配置详解.pdf

    《Hive on Spark安装配置详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,常用于大规模数据集的查询和分析。然而,Hive默认使用MapReduce作为执行引擎,由于MapReduce的磁盘I/O特性,其性能相对较...

    Hive语法详解.docx (排版清晰,覆盖全面,含目录)

    - **Hive配置文件**:主要包括`hive-site.xml`等文件。 - **配置项**:例如`hive.metastore.uris`等关键配置。 **1.6 运行时配置** - **通过命令行参数**:例如`-hiveconf hive.exec.dynamic.partition.mode=...

    hive入门级详解

    Hive 入门级详解 Hive 是一个基于 Hadoop 的数据仓库系统,它提供了一个类似于关系型数据库的查询语言 HQL,并且可以将查询转换为 MapReduce 任务来执行。Hive 的存储结构主要包括三个层面:数据存储层、计算资源层...

    Hive安装与配置

    ### Hive安装与配置详解 #### 一、软件准备与环境规划 在进行Hive的安装与配置之前,首先需要对所需的软件及环境进行规划。以下为本次安装与配置的环境规划: - **操作系统**: Ubuntu - **Java版本**: Java 1.6.0...

    【63课时完整版】大数据实践HIVE详解及实战

    48.Hadoop及Hive配置支持snappy压缩 49.Hive中的常见调优 50.Hive中的数据倾斜及解决方案-三种join方式 51.Hive中的数据倾斜及解决方案-group by 52.Hive中使用正则加载数据 53. Hive中使用Python脚本进行预处理 第...

    基于hadoop的hive数据仓库的配置

    ### 基于Hadoop的Hive数据仓库配置详解 #### 概述 本文档将详细介绍如何在Linux环境下搭建基于Hadoop的Hive数据仓库。Hive是一个建立在Hadoop之上的数据仓库工具,主要用于对存储在Hadoop文件系统中的大数据集进行...

    Hive metastore 使用达梦数据库存储元数据

    总结起来,将Hive metastore迁移到达梦数据库涉及创建数据库用户和表空间、修改Hive配置文件以及初始化元数据等步骤。这个过程不仅可以提升元数据管理的性能,还可以利用达梦数据库的特性来增强数据安全性。然而,...

    hive Linux安装和配置

    ### Hive在Linux下的安装与配置详解 #### 一、引言 Hive 是基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。...

    Hive配置和基本操作 (2).docx

    【Hive配置与基本操作详解】 Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许用户使用SQL-like语句(HQL,Hive Query Language)来查询、管理和处理存储在Hadoop分布式文件系统(HDFS)上的大规模数据集...

    hive配置说明

    ### Hive配置参数详解 #### 一、概述 Hive 是一款基于 Hadoop 的数据仓库工具,可以帮助对在存储在 Hadoop 文件系统中的数据集进行数据整理、特殊查询和分析存储。为了更好地管理和优化Hive查询的性能,了解并合理...

    Hive-1.2.1-hwi配置

    ### Hive-1.2.1-hwi配置详解 #### 一、概述 Hive是一款基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,使得Hadoop能够更好地处理大数据。在Hive 1.2.1版本中,引入...

Global site tag (gtag.js) - Google Analytics