`

HIVE insert 中文乱码

    博客分类:
  • HIVE
 
阅读更多

Ambari的hive组件插入中文,存在乱码:

最初怀疑是编码问题,试了各种编码无效,后来发现ambari安装的hive组件是1.2.*版本的。

 

 

然后下载了hive 1.2.*和hive 2.1.*单机模式安装进行了测试,发现确实1.2.*版本存在乱码,而2.1版本的正常;

 

 

解决办法:使用hive2,但ambari中默认没有这个组件服务(默认使用hive1),无法安装。

后来发现hive2本身随着hive1的安装已经安装了,开启hive配置中的Interactive Query功能即可(同时查询性能提升)

 

2.5之前的版本个人设置如下参数,仅供参考(之后的一般不需要配置):

In-Memory Cache per Daemon=1024(hive.llap.io.memory.size)

Memory per daemon = 25600(hive.llap.daemon.yarn.container.mb)

LLAP heap size=20480(llap_heap_size设置为Memory per daemon*0.8)

Maximum CPUs per Daemon = 8(hive.llap.daemon.num.executors)

 

Execution Engine = tez(hive.execution.engine)

 

 

注意:

通过beeline连接hive2(自带,路径/usr/hdp/2.6.1.0-129/hive2/bin/),命令行操作:

# ./beeline

beeline> !connect jdbc:hive2://localhost:10500 hive hive

 

如果通过代码jdbc连接hive2,将连接的端口10000改为10500即可。

————————————————

版权声明:本文为CSDN博主「源神」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/ZhouyuanLinli/article/details/77677145

分享到:
评论

相关推荐

    Hive那些事儿之八-大数据踩过的坑——Hive insert

    Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后,使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 ...

    解决show create table中文乱码问题的hive-exec.jar

    针对 hdp-22.4.3.0-227版中的hive1.2.1000的cli show create table乱码的替换jar包。

    使用Python构造hive insert语句说明

    然而,Hive并不像关系型数据库MySQL那样支持直接导出INSERT语句。在某些场景下,如数据迁移或测试,我们需要在Python中构造这样的语句。本文将详细介绍如何使用Python来构造Hive的INSERT INTO语句。 首先,我们来看...

    hive视图乱码问题导致查询异常

    hive下建视图后,视图中有中文字符时,元数据中显示乱码,查询视图 数据为空 解决方法

    hive-jdbc-0.7.0-pentaho-1.0.2.jar解决kettle取hive数据乱码

    使用kettle抽取hive中的数据时,遇到了取数结果乱码的问题。替换此包可以解决

    hadoop中文乱码问题

    【Hadoop中文乱码问题详解】 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储(HDFS)和分布式计算(MapReduce)的能力。然而,在处理包含中文字符的数据时,用户可能会遇到中文乱码的问题...

    大数据之Hive官方文档简要翻译(中文文档)

    【大数据之Hive官方文档简要翻译(中文文档)】 Hive是一款基于Hadoop的数据仓库工具,它允许用户使用SQL-like的语言(HQL)来查询、管理和处理存储在Hadoop文件系统(HDFS)上的大规模数据集。在Hive的核心组件中...

    hive修改过的jdbc包,用于显示hive中的中文内容

    如果系统语言不是utf-8的话,通过jdbc调用hive的数据时,中文会是乱码,通过修改jdbc包加上utf8标识后就好了,这个是改好了的包

    Hive几种数据导入方式

    ### Hive 数据导入方式详解 Hive 是一种广泛应用于大数据处理领域的工具,它为用户提供了类 SQL 的查询语言 HiveQL,使用户能够更加便捷地进行数据提取、转换与加载(ETL)。本文主要针对 Ambari 搭建的 Hadoop ...

    Hive用户指南 Hive user guide 中文版

    ### Hive用户指南中文版知识点概览 #### 一、Hive结构 **1.1 Hive架构** Hive架构主要包括以下几个核心组成部分: - **用户接口**:主要包括命令行界面(CLI)、客户端(Client)以及Web用户界面(WUI)。其中,...

    cli正常显示中文的hive-0.10.0

    在Hive 0.10.0版本中,用户可能会遇到一个常见的问题,那就是在使用`desc table`命令查看表的元数据时,中文注释无法正常显示,而是以乱码或者问号的形式呈现。这给使用中文文档注释的开发者带来了不便,因为无法...

    hive-exec-2.1.1.jar

    然而,描述中提到的“hive中文乱码”问题,是一个常见的困扰,尤其是在处理包含中文字符的数据时。这可能是由于字符编码设置不正确或者在数据传输过程中编码转换导致的。 解决Hive中文乱码问题通常涉及以下几个方面...

    hive客户端安装_hive客户端安装_hive_

    在大数据处理领域,Hive是一个非常重要的工具,它提供了一个基于Hadoop的数据仓库基础设施,用于数据查询、分析和管理大规模数据集。本教程将详细讲解如何在Linux环境下安装Hive客户端,以便进行数据操作和分析。 ...

    HIVE安装及详解

    "HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...

    impala中substr()截取中文字符串乱码的问题

    然而,当涉及到处理中文字符时,Impala的内置函数`substr()`和`substring()`可能会遇到一些挑战,尤其是在截取中文字符串时可能出现乱码问题。这是因为这两个函数在设计时可能没有充分考虑多字节字符集,如UTF-8,而...

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...

    Hive编程中文版

    Hive编程指南中文版翻译,Hive programing

    Apache Hive 中文手册_hive_

    Apache Hive 是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供...

    Hive新手学习资料之Hive入门与实战.+Hive用户手册+hive函数大全中文版资源合集

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据...Hive用户手册中文版.pdf Hive用户指南-V1.1.doc 喜欢的朋友可以下载学习。

Global site tag (gtag.js) - Google Analytics