`

hive常见问题

    博客分类:
  • hive
阅读更多
在做kettle与hive对接的时候,
启动hiveserver报错
hive --service hiveserver

org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

要确保没有客户端在连接hive,检查方式:
netstat -nl | grep 10000
ps -ef | grep hive

kill 进程号
---------------------------------------------------------------------------------------------------
   hive JDBC连接
   在使用 JDBC 开发 Hive 程序时,  必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:
   nohup bin/hive --service hiveserver &
hive的jdbc连接需要的jar:
hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
$HIVE_HOME/lib/hive-exec-0.11.0.jar
$HIVE_HOME/lib/hive-jdbc-0.11.0.jar
$HIVE_HOME/lib/hive-metastore-0.11.0.jar 
$HIVE_HOME/lib/hive-service-0.11.0.jar  
$HIVE_HOME/lib/libfb303-0.9.0.jar  
$HIVE_HOME/lib/commons-logging-1.0.4.jar 
$HIVE_HOME/lib/slf4j-api-1.6.1.jar

****************************************************************************************************
Metastore连接不上
       启动metastore服务  nohup bin/hive  --service metastore &
       然后直接命令行hive进入hive shell环境,然后执行show databases 
---------------------------------------------------------------
hive中DEBUG命令:hive -hiveconf hive.root.logger=DEBUG,console 
---------------------------------------------------------------
使用客户端连接和测试
参考之前的hive测试步骤一一执行。
如果出现
FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.
NestedThrowables:
com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 1000 bytes
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
或者是
FAILED: Error in metadata: MetaException(message:Got exception: org.apache.thrift.transport.TTransportException null)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
以上错误,主要是在select操作、drop操作时,就会出错。
这样的错误,可以修改hivedb数据库编码:
mysql> alter database hivedb character set latin1;
然后重启hive metastore和hive server就可以了
mysql数据库的编码目前最好设置为latin1,否则使用hive会出现莫名其妙的问题
分享到:
评论

相关推荐

    Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践

    Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践 Hive是一种基于Hadoop的数据仓库工具,用于对大规模数据进行处理和分析。在大数据时代,Hive的应用非常广泛,本文将从Hive优化案例、Hive数据处理...

    Hue 常见问题解决方案,大数据平台的hue/hive常见问题总结 免费下载

    本文将围绕“Hue常见问题解决方案”这一主题,详细阐述Hue与Hive在大数据平台中可能遇到的问题以及相应的解决策略。 首先,我们来了解Hue的基本功能。Hue是Cloudera公司开发的一款开源Web应用程序,它提供了一个...

    Hive常见问题维护手册V1.01

    当遇到问题时,首先查看 `hive.log`,这是默认的通用日志文件,记录了 Hive Server 的操作和错误信息。如果问题涉及到特定查询,可能需要查看 `hive-exec.log`,它记录了查询执行的详细步骤。 【Hive_LOG_00002】 ...

    hive开发中常遇到的坑

    然而,在实际开发过程中,开发者们常常会遇到一些棘手的问题,本文将针对这些常见问题进行深入探讨。 #### 一、Hive中的Dual表 在Oracle数据库中,`dual`表是一种特殊的虚拟表,通常用于测试或执行简单的SQL查询。...

    大数据hive数据倾斜,hive-sql优化

    其他Hive常见问题 1. 死锁处理方法:使用Hive的锁机制来解决死锁问题。 2. 连接池不足解决方法:使用Hive的连接池机制来解决连接池不足问题。 3. 小文件问题处理:使用Hive的文件合并机制来解决小文件问题。 Hive...

    Hive常见异常处理.docx

    然而,在使用Hive时,经常会遇到各种异常问题,本文将对Hive常见的异常处理进行总结和分析。 一、表不存在异常 在Hive中,表不存在是最常见的异常之一。当我们尝试查询或操作一个不存在的表时,Hive将抛出一个...

    hive on tez 常见报错问题收集

    这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug,具体问题可以在Apache JIRA的HIVE-16398中...

    hive常见的优化方案ppt

    以下是一些针对Hive性能优化的常见策略: 1. **开启Hive压缩**:压缩可以显著减少数据存储空间,加快读取速度。可以开启Hive的中间数据和最终数据压缩,使用`hive.exec.compress.output=true`和`hive.exec.compress...

    hive 面试宝典 spark hive优化

    hive 面试宝典,hive常见问题,hive优化非常详细

    Hive常见错误及解决方案.docx

    因此,本文将总结常见的 Hive 错误及解决方案,帮助开发者快速解决问题,提高工作效率。 错误一:SecureCRT 7.3 出现乱码或者删除不掉数据 SecureCRT 是一个功能强大的 SSH 客户端工具,常用于远程登录服务器。...

    hive on spark mr 数据开发常见问题解决

    在日常开发中,建立一个汇总常见问题的知识库是提高效率的关键。遇到问题时,能够快速查找和应用解决方案,可以极大地提高团队的工作效率。同时,定期审查和更新这个知识库,确保它包含最新的错误信息和解决方案,将...

    hive所有jar文件

    描述中提到,“用于Hive和HBase的连接,通过hive操作hbase上的表”,这表明这些JAR文件是为了解决Hive与HBase集成的问题。Hive-HBase连接器允许用户在Hive中创建外部表,将这些表映射到HBase的数据表,从而可以在...

    Hive metastore 使用达梦数据库存储元数据

    在实际使用过程中,可能会遇到一些常见问题。比如,当使用Spark查询时,可能会因为Spark自带的Hive包与达梦数据库不兼容,导致异常。解决方法是替换Spark环境中的Hive相关库,使用与达梦数据库兼容的版本。 总结...

    hive 驱动包 hive 链接 datagrip的驱动包

    ZIP是一种常见的文件格式,用于无损数据压缩和归档,可以包含多个文件和文件夹。在这个场景下,"hive-denpendencies.zip"很可能包含了Hive驱动和其他相关依赖的JAR文件。 要将Hive与DataGrip连接,你需要做以下步骤...

    利用Hive进行复杂用户行为大数据分析及优化案例

    利用Hive进行复杂用户行为大数据分析及...13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理

    Spark不能使用hive自定义函数.doc

    然而,在实际应用中,开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数(UDF)。本文将深入探讨这一问题,并提供解决方案。 #### 一、问题背景 当开发者尝试在 Spark 应用程序中...

    hive-exec-2.1.1.jar

    然而,描述中提到的“hive中文乱码”问题,是一个常见的困扰,尤其是在处理包含中文字符的数据时。这可能是由于字符编码设置不正确或者在数据传输过程中编码转换导致的。 解决Hive中文乱码问题通常涉及以下几个方面...

    Hive用户指南 Hive user guide 中文版

    - 提供了一些常见问题解答,帮助用户解决使用过程中遇到的问题。 以上是Hive用户指南中文版的主要内容概述,通过对这些知识点的学习和理解,可以帮助用户更好地使用Hive进行大数据处理和分析。

    Hive1.2.1安装指南

    #### 六、常见问题解决 在启动Hive时可能会遇到以下异常: **异常信息**: ``` Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: ...

    hive2.1.1中orc格式读取报数组越界错误解决方法

    在Hive中,这可能源于Hive执行引擎或ORC读写库的问题。在描述中提到的解决方案是替换相关的jar包,具体为`hive-exec-2.1.1-cdh6.3.2.jar`和`hive-orc-2.1.1-cdh6.3.2.jar`。这两个jar包分别是Hive执行引擎和ORC文件...

Global site tag (gtag.js) - Google Analytics