`
qindongliang1922
  • 浏览: 2183851 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117531
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125921
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59907
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71301
社区版块
存档分类
最新评论

Hue+Hive临时目录权限不够解决方案

阅读更多
安装Hue后,可能会分配多个账户给一些业务部门操作hive,虽然可以正常写SQL提交任务,但是由于不同账户在生成MR任务时写入的临时文件,导致临时目录权限改变,假如下次有需要重启hiveserver2时,会报下面的一个异常:

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:672)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x
at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:529)
at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:478)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)
... 7 more




如何解决?
从hive-site.xml里面找到临时目录HDFS上的路径:

<property>
  <name>hive.exec.scratchdir</name>
  <value>/tmp/hive</value>
</property>


(1)先清空临时目录

hadoop fs -rm -r /tmp/hive;  


(2)再赋予权限

hadoop fs -chmod 777 /tmp/hive


(3)如果本地linux系统上的tmp目录有数据,可以清空这个目录

rm -rf /tmp/hive



操作完毕后,重启hiveserver2,然后通过Hue访问,发现一切正常。




有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。



  • 大小: 49.5 KB
0
1
分享到:
评论

相关推荐

    Hue 常见问题解决方案,大数据平台的hue/hive常见问题总结 免费下载

    本文将围绕“Hue常见问题解决方案”这一主题,详细阐述Hue与Hive在大数据平台中可能遇到的问题以及相应的解决策略。 首先,我们来了解Hue的基本功能。Hue是Cloudera公司开发的一款开源Web应用程序,它提供了一个...

    大数据技术之CM6.3.1+CDH6.3.2配置Hue+Sentry权限管理.pdf

    大数据技术之CM6.3.1+CDH6.3.2配置Hue+Sentry权限管理 本文档主要介绍了CDH6.3.2配置Hue+Sentry权限管理的步骤,旨在帮助读者了解大数据技术中的权限管理机制。 一、Sentry概述 Sentry是Apache开源组件,提供了细...

    eclipse集成hadoop+spark+hive开发源码实例

    8. **配置Eclipse for Hive**:安装Hive插件,如Hive IDE或Hue Editor,以便在Eclipse中编写和执行HiveQL。 9. **建立连接**:在Eclipse中配置Hadoop和Spark连接,使得Eclipse能够与本地或远程Hadoop和Spark集群...

    2021厦门招聘数据分析.rar

    涉及知识点:清洗 pandas + 分析 hive + 可视化 ( hue + pyecharts ) + 预测 sklearn 1. 数据集说明 2. 数据处理 2.1 数据清洗 2.2 数据导入 3. 数据分析可视化 3.1 整体情况(招聘企业数、岗位数、招聘人数、平均...

    hadoop-hue-hive:Vagrant+Chef 食谱能够在 ubuntu 上安装 hadoop、hue 和 hive

    hadoop-hue-hive-cookbook TODO:在此处输入食谱说明。 支持的平台 TODO:列出您支持的平台。 属性 钥匙 类型 描述 默认 ['hadoop-hue-hive']['培根'] 布尔值 是否包括培根 真的 用法 hadoop-hue-hive::default ...

    Hive权限设置说明文档.doc

    Hive 权限设置说明文档 Hive 是一个基于 Hadoop 的数据仓库工具,用于存储和处理大规模数据。...本文档对 Hive 的权限设置进行了详细的介绍,包括 Hue 访问 Hive 的权限设置、Hive 权限设置详解和权限管理机制。

    Hive权限设置说明

    CDH平台,通过hue访问hive,控制库级别,表级别,及列级别的访问权限

    Hue 常见问题解决方案

    本文将详细介绍一些Hue常见问题的解决方案,涉及Hue数据库中文编码问题以及Kerberos环境下Hive SQL执行问题的解决方法。 首先,讨论的是Hue数据库中文编码问题。当Hue数据库从默认的SQLite3迁移到MySQL之后,在执行...

    HUE用户手册

    Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来...

    hive 表结构导出

    支持hive 源数据、表结构导出

    hive开启权限后不能创建数据库问题

    背景:由于Hive需要开启权限管理,安装网上教程,开启权限配置,重启集群后。 使用root用户登录,进入Hive命令行界面。 执行 create database test; 发现报错: Authorization failed:No privilege 'Create' found ...

    大数据Hue架构原理.pdf

    Hue组件包括HDFS、Hive、Solr、Impala、Spark、Pig、Oozie、Hbase、MR(MR1/MR2-Yarn)、Sqoop2、Zookeeper等,提供了一个完整的大数据解决方案。 Hue的使用 Hue提供了多种使用方式,包括文件浏览、Job浏览、Beeswax...

    hue的安装配置.doc

    - **管理HDFS文件**:用户可以通过Hue的文件浏览器查看、上传、下载和修改HDFS中的文件和目录。 - **Hive元数据管理**:Hue集成了Hive metastore的管理功能,允许用户创建、查看和修改表结构,执行SQL查询,以及...

    大数据框架Sqoop+Flume+Oozie+Hue视频教程

    《大数据框架Sqoop+Flume+Oozie+Hue视频教程》Sqoop+Flume+Oozie+Hue整合大数据视频教程 经典之作 值得珍藏的大数据视频教程。

    Apache Hue 2小时轻松搞定大数据可视化终端视频教程

    2.Hue统一化的框架解决方案 3.Hue的设计思想 4.Hue的架构及原理 第二章:Hue的定制化编译与部署 1.Hue的依赖环境构建 2.Hue基础配置更改 3.Hue定制化编译 4.Hue的安装及服务管理详解 第三章:Hue与...

    hive

    总结来说,Hive 是大数据领域中不可或缺的一部分,它为大规模数据处理提供了一种易于理解和使用的解决方案,使得数据分析工作变得更加高效和便捷。通过学习和掌握 Hive,用户可以更好地管理和利用 Hadoop 生态系统中...

    Hue安装详细介绍文档

    FAQ部分将提供一些常见问题的解决方案,例如Mysql报错ERROR1045,文件列表加载问题等。 总体而言,Hue的安装涉及到对操作系统、Hadoop生态系统组件、数据库以及Web服务的配置和理解。安装Hue之前需要仔细阅读文档,...

    Ambari2.7.4集成Hue4.6.0

    而 Hue 是一个开源的 Hadoop 用户界面系统,它允许用户通过浏览器进行数据处理和分析,如执行 HDFS 操作、MapReduce 任务、Hive 查询以及浏览 HBase 数据。 集成 Hue 4.6.0 到 Ambari 2.7.4 的过程是为 Hadoop 集群...

Global site tag (gtag.js) - Google Analytics