`
cloudeagle
  • 浏览: 109854 次
  • 性别: Icon_minigender_1
  • 来自: 合肥
社区版块
存档分类
最新评论

Hive 安装出现的问题

 
阅读更多
Exception in thread "Thread-18" java.lang.IllegalArgumentException: Does not contain a valid host:port authority: local
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:206)
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:158)
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:147)
at org.apache.hadoop.hive.ql.exec.JobTrackerURLResolver.getURL(JobTrackerURLResolver.java:42)
at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:209)
at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)
at java.lang.Thread.run(Thread.java:722)

Execution failed with exit status: 2


http://taoo.iteye.com/blog/1678993 这里给出了原因,参考:http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn

这里摘要下:


链接中的解释很清楚

引用

There are actually two failures here:

1) The MR job that Hive launched on your cluster failed for some reason. I
can't determine why based on the information provided. I recommend trying
to locate the task logs for the failed tasks on the cluster.

2) When a job fails Hive attempts to automatically retrieve the task logs
from the JobTracker's TaskLogServlet. This service doesn't exist in MR2,
which is why Hive is throwing an exception (either because
mapred.job.tracker is undefined, or because it can't find the
TaskLogServlet service running on the machine that mapred.job.tracker
points to). This is a known issue and one that we plan to address in the
next release of CDH.


解决方法也很详细,就是在hive-site.xml中添加设置,
引用

In the meantime I recommend doing the following if you need to run Hive on
MR2:
* Keep Hive happy by setting mapred.job.tracker to a bogus value.
* Disable task log retrieval by setting
hive.exec.show.job.failure.debug.info=false

So 我的解决方法:

添加到 hive-site.xml

<property>
<name>mapreduce.jobtracker.address</name>
<value>ignorethis</value>
</property>

并重启 hive-server.


分享到:
评论

相关推荐

    大数据教程-Hive的安装与配置.pdf

    从提供的文件内容中,我们可以提取到关于Hive安装与配置的相关知识点,同时也包括了MySQL的安装知识,因为MySQL是Hive常用的后端数据库。接下来,我将详细介绍这些知识点。 **Hive的安装与配置** 1. Hive是一个...

    Hive1.2.1安装指南

    如果使用其他字符集可能会导致后续操作出现乱码问题。 4. **创建Hive用户并授权**:执行以下命令创建Hive用户,并授予其对`hive`数据库的所有权限: ```sql GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost'...

    hive安装视频注意事项.docx

    注意,解压目录必须是三级目录,否则可能会出现问题。例如,如果/usr/local 下没有 hive 文件夹,系统会自动创建一个新的文件夹。 在配置系统环境变量时,需要添加 Hadoop 的路径。可以通过以下方式确认路径:在...

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    1. Hive安装是否需要安装MySQL? 2. Hive是否分为客户端和服务器端? 3. Hive的元数据库有哪两种? 4. Hive与HBase整合的关键是什么? 5. Hive的安装是否必须安装Hadoop? 6. Hive与HBase整合需要做哪些准备工作? *...

    Hadoop和Hive的安装配置

    2. **权限管理**:Hadoop和Hive的目录需要有适当的权限,避免运行时出现权限问题。 3. **防火墙**:如果是在集群环境下,需确保防火墙设置允许相关服务的通信。 4. **资源分配**:根据硬件资源合理配置Hadoop和...

    Hive安装与部署并词频统计.docx

    【Hive安装与部署】 Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大规模数据的离线分析。以下是安装和配置Hive的详细步骤: 1. **安装Hive** - 首先,...

    linux下安装hive2.3.6(完全分布式下).docx

    Hive 2.3.6 在 Linux 中的安装配置 本文档将指导您在 Linux 中安装和配置 Hive 2.3.6,包括环境准备、Hive 元数据库的建立、下载和安装 Hive、配置 Hive 环境等步骤。 一、环境准备 在开始安装 Hive 之前,我们...

    kittle连接hive需要的jar包

    - 确保JAR包版本与Hive、Hadoop和MySQL的版本兼容,否则可能会出现运行时错误。 - 如果Hive部署在高可用环境中,可能需要配置多个Hive服务器的连接信息以实现负载均衡或故障切换。 - 注意Hive的权限设置,Kettle...

    Hive的三种方式安装与搭建

    - 在同一个目录下同时只能有一个Hive客户端能使用数据库,否则会出现错误。 #### 五、单用户模式(MySQL) ##### 安装步骤 1. **环境准备**: - 确保MySQL服务已启动。 - 调整MySQL的用户权限,以支持远程连接...

    Hive metastore 使用达梦数据库存储元数据

    在Hive安装目录的`bin`目录下运行`schematool`命令,指定数据库类型为`dm`并执行初始化脚本。成功执行后,你会看到“Initialization script completed”这样的提示,标志着元数据初始化完成。 在实际使用过程中,...

    hivesql语句练习

    如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' ...

    hive执行文件.zip

    但在此之前,你应该确保备份现有的Hive安装,以防万一新版本不兼容或出现问题。 在执行这样的操作之前,有几个关键知识点需要了解: 1. **Hive架构**:Hive由元存储(Metastore)、Hive服务器(Hiveserver)、驱动...

    hive的安装与配置.zip

    在这个“hive的安装与配置.zip”压缩包中,包含了关于Hive安装和配置的相关资料,我们可以深入探讨Hive的基础知识、安装步骤以及配置细节。 首先,理解Hive的核心概念是至关重要的。Hive主要是为了解决海量数据的...

    SpagoBI集成Hive数据库

    例如,文中提到的一个错误日志表明在创建SQL连接时出现了问题,这是由于Mondrian(一个开源的OLAP引擎,SpagoBI使用它来处理多维数据)无法成功建立到Hive的连接。这个错误可能是由多种原因引起的,如网络问题、Hive...

    windows python2.7 连接hive。安装pyhs2,需要提前安装的包以及步骤。亲测有效

    如果安装过程中出现任何问题,可以参考 [这篇博客](https://blog.csdn.net/bigdataf/article/details/78479331) 或者 [这篇教程](https://www.cnblogs.com/linn/p/6526894.html) 进行排查。 #### 四、配置认证机制 ...

    hive+kafka安装包

    例如,你可以创建一个Kafka消费者连接到Hive,当新的数据在Kafka主题中出现时,自动写入Hive表。 5. 在CentOS系统中,配置`CentOS5-Base-163.repo`和`CentOS7-Base-163.repo`文件可以确保你能够获取到安装Hive和...

    Spark不能使用hive自定义函数.doc

    - 执行包含 Hive UDF 的 Spark SQL 查询时出现运行时错误。 - Spark 的 DataFrame API 无法正确转换 Hive UDF。 #### 二、原因分析 导致 Spark 无法使用 Hive 自定义函数的主要原因有以下几点: 1. **环境配置不...

    Hadoop-2.8.0-Day07-HA-Hive安装部署与HQL-课件与资料.zip

    在Hadoop 2.8.0中,HA主要通过NameNode的冗余实现,即设置主NameNode和备用NameNode,当主NameNode出现问题时,备用NameNode可以立即接管服务,确保集群的连续运行。 接下来,我们讨论Hive的安装和部署。Hive的安装...

    hive-part1-基础知识.pdf

    良好的容错性能保障即使有节点出现问题,SQL语句仍然能够完成执行。然而,Hive不支持记录级别的增删改操作,查询延时严重,也不支持事务,主要适用于OLAP(联机分析处理)而不适用于OLTP(联机事务处理)。 接下来...

Global site tag (gtag.js) - Google Analytics