- 浏览: 111932 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
土豆蛋儿:
我想读取一个外部文件,以什么方式好了? 文件内容经常编辑
flume 自定义source -
土豆蛋儿:
大神,您好。
flume 自定义source
1. org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000
问题:hive --service hiveserver 启动hiveserver服务
解决方法:端口被占用 ,kill 该端口进程或者重新制定端口 hive --service hiveserver -p 10001
2. Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
解决方法:./hive -hiveconf hive.root.logger=DEBUG,console
输出错误日志,进行修改。一般都是hive用户mysql库权限问题。
3. Error: dl failure on line 864
Error: failed /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so, because /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied
解决方法: /usr/sbin/setenforce 0
4. 运行Hadoop程序 时,出现 Filesystem closed异常。
通过查证是设置了缓存。需要取消缓存。
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
5 Failed with exception Unable to move sourcehdfs://vmtmstorm01:8020/test to destination hdfs://vmtmstorm01:8020/user/hive/warehouse/ptest/name=ww/test
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
原因:由于hive的用户权限问题,hive在源目录或者是目的目录没有操作的权限
6. Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie
1.可能是mysql权限不够
2.可能是元数据服务未启动或hive服务未启动
7.Caused by: org.apache.thrift.protocol.TProtocolException: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:SUCCESS_STATUS), serverProtocolVersion:null, sessionHandle:TSessionHandle(sessionId:THandleIdentifier(guid:A0 3F 2D 35 DD BD 47 6C 80 B6 36 83 1A DB 60 4C, secret:F6 13 B5 E3 20 65 48 F5 9A F4 0F 04 A2 FC 30 B2)), configuration:{})
原因:因为hive的hiveserver版本和包不一致
8.ClassNotFoundException HttpRequestInterceptor。。。
原因:这几个 jar 在 solr 3.6 的发行包中并没有集成,需要从这里下载
http://archive.apache.org/dist/httpcomponents/httpclient/binary/httpcomponents-client-4.1.3-bin.zip
问题:hive --service hiveserver 启动hiveserver服务
解决方法:端口被占用 ,kill 该端口进程或者重新制定端口 hive --service hiveserver -p 10001
2. Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
解决方法:./hive -hiveconf hive.root.logger=DEBUG,console
输出错误日志,进行修改。一般都是hive用户mysql库权限问题。
3. Error: dl failure on line 864
Error: failed /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so, because /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied
解决方法: /usr/sbin/setenforce 0
4. 运行Hadoop程序 时,出现 Filesystem closed异常。
通过查证是设置了缓存。需要取消缓存。
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
5 Failed with exception Unable to move sourcehdfs://vmtmstorm01:8020/test to destination hdfs://vmtmstorm01:8020/user/hive/warehouse/ptest/name=ww/test
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
原因:由于hive的用户权限问题,hive在源目录或者是目的目录没有操作的权限
6. Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie
1.可能是mysql权限不够
2.可能是元数据服务未启动或hive服务未启动
7.Caused by: org.apache.thrift.protocol.TProtocolException: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:SUCCESS_STATUS), serverProtocolVersion:null, sessionHandle:TSessionHandle(sessionId:THandleIdentifier(guid:A0 3F 2D 35 DD BD 47 6C 80 B6 36 83 1A DB 60 4C, secret:F6 13 B5 E3 20 65 48 F5 9A F4 0F 04 A2 FC 30 B2)), configuration:{})
原因:因为hive的hiveserver版本和包不一致
8.ClassNotFoundException HttpRequestInterceptor。。。
原因:这几个 jar 在 solr 3.6 的发行包中并没有集成,需要从这里下载
http://archive.apache.org/dist/httpcomponents/httpclient/binary/httpcomponents-client-4.1.3-bin.zip
发表评论
-
hive + hbase
2015-01-04 10:42 772环境配置: hadoop-2.0.0-cdh4.3.0 (4 ... -
hive 数据倾斜
2014-08-27 09:03 686链接:http://www.alidata.org/archi ... -
hive 分通总结
2014-08-27 08:42 574总结分析: 1. 定义了桶,但要生成桶的数据,只能是由其他表 ... -
深入了解Hive Index具体实现
2014-08-25 08:51 737索引是标准的数据库技术,hive 0.7版本之后支持索引。hi ... -
explain hive index
2014-08-24 16:44 1146设置索引: 使用聚合索引优化groupby操作 hive> ... -
Hive 中内部表与外部表的区别与创建方法
2014-08-15 17:11 761分类: Hive 2013-12-07 11:56 ... -
hive map和reduce的控制
2014-08-15 16:14 623一、 控制hive任务中的map数: 1. 通 ... -
hive 压缩策略
2014-08-15 15:16 1767Hive使用的是Hadoop的文件 ... -
hive 在mysql中创建备用数据库
2014-08-15 09:21 880修改hive-site.xml <property> ... -
HIVE 窗口及分析函数
2014-08-11 16:21 1187HIVE 窗口及分析函数 使 ... -
hive 内置函数
2014-08-11 09:06 30681.sort_array(): sort_array(arra ... -
hive lateral view
2014-08-09 14:59 2025通过Lateral view可以方便的将UDTF得到的行转列的 ... -
hive数据的导出
2014-07-28 21:53 444在本博客的《Hive几种数据导入方式》文章中,谈到了Hive中 ... -
hive udaf
2014-07-25 16:11 752package com.lwz.udaf; import o ... -
hive自定义InputFormat
2014-07-25 09:13 861自定义分隔符 package com.lwz.inputf; ... -
HiveServer2连接ZooKeeper出现Too many connections问题的解决
2014-07-24 08:49 1764HiveServer2连接ZooKeeper出现Too man ... -
hive 常用命令
2014-07-17 22:22 6931.hive通过外部设置参数传入脚本中: hiv ... -
CouderaHadoop中hive的Hook扩展
2014-07-16 21:18 3333最近在做关于CDH4.3.0的hive封装,其中遇到了很多问题 ... -
利用SemanticAnalyzerHook回过滤不加分区条件的Hive查询
2014-07-16 16:43 1466我们Hadoop集群中将近百分之80的作业是通过Hive来提交 ... -
hive 的常用命令
2014-07-16 10:07 0设置、查看hive当前的角色: set sys ...
相关推荐
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践 Hive是一种基于Hadoop的数据仓库工具,用于对大规模数据进行处理和分析。在大数据时代,Hive的应用非常广泛,本文将从Hive优化案例、Hive数据处理...
本文将围绕“Hue常见问题解决方案”这一主题,详细阐述Hue与Hive在大数据平台中可能遇到的问题以及相应的解决策略。 首先,我们来了解Hue的基本功能。Hue是Cloudera公司开发的一款开源Web应用程序,它提供了一个...
当遇到问题时,首先查看 `hive.log`,这是默认的通用日志文件,记录了 Hive Server 的操作和错误信息。如果问题涉及到特定查询,可能需要查看 `hive-exec.log`,它记录了查询执行的详细步骤。 【Hive_LOG_00002】 ...
然而,在实际开发过程中,开发者们常常会遇到一些棘手的问题,本文将针对这些常见问题进行深入探讨。 #### 一、Hive中的Dual表 在Oracle数据库中,`dual`表是一种特殊的虚拟表,通常用于测试或执行简单的SQL查询。...
其他Hive常见问题 1. 死锁处理方法:使用Hive的锁机制来解决死锁问题。 2. 连接池不足解决方法:使用Hive的连接池机制来解决连接池不足问题。 3. 小文件问题处理:使用Hive的文件合并机制来解决小文件问题。 Hive...
然而,在使用Hive时,经常会遇到各种异常问题,本文将对Hive常见的异常处理进行总结和分析。 一、表不存在异常 在Hive中,表不存在是最常见的异常之一。当我们尝试查询或操作一个不存在的表时,Hive将抛出一个...
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug,具体问题可以在Apache JIRA的HIVE-16398中...
以下是一些针对Hive性能优化的常见策略: 1. **开启Hive压缩**:压缩可以显著减少数据存储空间,加快读取速度。可以开启Hive的中间数据和最终数据压缩,使用`hive.exec.compress.output=true`和`hive.exec.compress...
hive 面试宝典,hive常见问题,hive优化非常详细
因此,本文将总结常见的 Hive 错误及解决方案,帮助开发者快速解决问题,提高工作效率。 错误一:SecureCRT 7.3 出现乱码或者删除不掉数据 SecureCRT 是一个功能强大的 SSH 客户端工具,常用于远程登录服务器。...
在日常开发中,建立一个汇总常见问题的知识库是提高效率的关键。遇到问题时,能够快速查找和应用解决方案,可以极大地提高团队的工作效率。同时,定期审查和更新这个知识库,确保它包含最新的错误信息和解决方案,将...
描述中提到,“用于Hive和HBase的连接,通过hive操作hbase上的表”,这表明这些JAR文件是为了解决Hive与HBase集成的问题。Hive-HBase连接器允许用户在Hive中创建外部表,将这些表映射到HBase的数据表,从而可以在...
在实际使用过程中,可能会遇到一些常见问题。比如,当使用Spark查询时,可能会因为Spark自带的Hive包与达梦数据库不兼容,导致异常。解决方法是替换Spark环境中的Hive相关库,使用与达梦数据库兼容的版本。 总结...
ZIP是一种常见的文件格式,用于无损数据压缩和归档,可以包含多个文件和文件夹。在这个场景下,"hive-denpendencies.zip"很可能包含了Hive驱动和其他相关依赖的JAR文件。 要将Hive与DataGrip连接,你需要做以下步骤...
利用Hive进行复杂用户行为大数据分析及...13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理
然而,在实际应用中,开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数(UDF)。本文将深入探讨这一问题,并提供解决方案。 #### 一、问题背景 当开发者尝试在 Spark 应用程序中...
然而,描述中提到的“hive中文乱码”问题,是一个常见的困扰,尤其是在处理包含中文字符的数据时。这可能是由于字符编码设置不正确或者在数据传输过程中编码转换导致的。 解决Hive中文乱码问题通常涉及以下几个方面...
- 提供了一些常见问题解答,帮助用户解决使用过程中遇到的问题。 以上是Hive用户指南中文版的主要内容概述,通过对这些知识点的学习和理解,可以帮助用户更好地使用Hive进行大数据处理和分析。
#### 六、常见问题解决 在启动Hive时可能会遇到以下异常: **异常信息**: ``` Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: ...
在Hive中,这可能源于Hive执行引擎或ORC读写库的问题。在描述中提到的解决方案是替换相关的jar包,具体为`hive-exec-2.1.1-cdh6.3.2.jar`和`hive-orc-2.1.1-cdh6.3.2.jar`。这两个jar包分别是Hive执行引擎和ORC文件...