`

hive执行查询出现:Error while making MR scratch directory - check filesystem解决办法

    博客分类:
  • hive
 
阅读更多

进入 $hadoop_home vi conf/core-site.xml
之前的配置是hdfs://192.168.10.145:9060
但是在hive命令行下面查询一直出错:错误信息如下:
FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))
java.lang.RuntimeException: Error while making MR scratch directory - check filesystem config (null)
    at org.apache.hadoop.hive.ql.Context.getMRScratchDir(Context.java:196)
    at org.apache.hadoop.hive.ql.Context.getMRTmpFileURI(Context.java:247)
    at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:900)
    at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:6594)
    at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:238)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:340)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:736)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:456)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.10.145:9060/www/tmp/hive/tmp/hive_2011-07-07_15-16-43_898_7958229762893737206, expected: hdfs://zgz-test-a:9060
    at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310)
    at org.apache.hadoop.hdfs.DistributedFileSystem.checkPath(DistributedFileSystem.java:99)
    at org.apache.hadoop.fs.FileSystem.makeQualified(FileSystem.java:222)
    at org.apache.hadoop.hdfs.DistributedFileSystem.makeQualified(DistributedFileSystem.java:116)
    at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:146)
    at org.apache.hadoop.hive.ql.Context.getMRScratchDir(Context.java:190)
    ... 14 more
改动后:
<property>
    <name>fs.default.name</name>
    <value>hdfs://zgz-test-a:9060/ </value>
    <description>The name of the default file system.  A URI whose
    scheme and authority determine the FileSystem implementation.  The
    uri's scheme determines the config property (fs.SCHEME.impl) naming
    the FileSystem implementation class.  The uri's authority is used to
    determine the host, port, etc. for a filesystem.</description>
</property>


重新启动hadoop,登录hive

分享到:
评论

相关推荐

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    《DBeaver与Hive连接:hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的...

    Hadoop Hive入门学习笔记.pdf

    如果出现错误提示 `FAILED:HiveInternalError:java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config(null))`,则需要检查 Hadoop 的配置文件 `core-site.xml` 中的 IP ...

    hive-exec-*.jar包

    Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar

    hive-jdbc-1.1.0-cdh5.4.5-standalone.jar

    hive-jdbc-1.1.0-cdh5.4.5-standalone.jar Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection...

    hadoop hive入门学习总结

    如果在查询时遇到“FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))”,这通常是由于Hadoop配置问题导致的。解决方法如下: ...

    Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:

    hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失

    hive的一些报错及解决方法

    ### Hive的一些报错及解决方法 #### 一、Hive连接报错 在更换网络接口卡后重新启动服务时,可能会遇到Hive连接失败的问题。此类问题通常与元数据存储中的异常有关,例如存在多个版本的元数据或者端口被其他服务...

    cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc

    - 在执行任何更改之前,确保备份原始的 `hive-env.sh` 文件。这样如果遇到问题,可以轻松地恢复到初始状态。 ```bash cp /opt/cloudera/parcels/CDH/lib/hive/conf/hive-env.sh /opt/cloudera/parcels/CDH/lib/...

    hive2.1.1-cdh6.3.2

    使用这些JDBC驱动,开发者可以通过标准的JDBC接口连接到Hive,执行查询并获取结果。例如,你可以创建一个Java程序,使用`java.sql.DriverManager.getConnection()`方法建立连接,并使用`java.sql.Statement`和`java....

    flink-connector-hive-2.11-1.13.2-API文档-中文版.zip

    赠送jar包:flink-connector-hive_2.11-1.13.2.jar; 赠送原API文档:flink-connector-hive_2.11-1.13.2-javadoc.jar; 赠送源代码:flink-connector-hive_2.11-1.13.2-sources.jar; 赠送Maven依赖信息文件:flink-...

    大数据安全-kerberos技术-hive安装包,hive版本:apache-hive-3.1.3-bin.tar.gz

    3. **配置Hive服务**:修改`hive-site.xml`配置文件,添加Kerberos相关属性,如`hive.server2.authentication`设为`KERBEROS`,`hive.metastore.kerberos.principal`和`hive.server2.kerberos.principal`分别设定为...

    hive-jdbc-1.1.0-cdh5.12.1 连接库 jar包

    1. `hive-jdbc-1.1.0-cdh5.12.1-standalone.jar`:这是一个独立的jar包,包含了所有必要的依赖,可以直接在没有其他CDH库的情况下运行。这意味着如果你的客户端环境中无法或不便解决所有依赖问题,你可以选择使用这...

    hive X86_64的工具包

    Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许用户使用SQL(称为HQL,Hive查询语言)对存储在Hadoop分布式文件系统(HDFS)中的大规模数据集进行查询和分析。这个"hive X86_64的工具包"显然包含了针对...

    hive-jdbc-2.1.0.jar

    hive-jdbc-2.1.0.jar

    hive执行计划可视化工具

    5. **资源管理**:显示Hive如何分配资源(如MapReduce或Tez任务)来执行查询,帮助管理员理解资源使用情况,以便进行更有效的集群管理。 在标签中提到的“软件/插件”,暗示可能有多种不同的实现方式。例如: - **...

    hive驱动包hive-jdbc-uber-2.6.5.0-292.jar(用户客户端连接使用)

    标题中的"**hive-jdbc-uber-2.6.5.0-292.jar**"是一个Uber(也称为Shaded)JAR文件,它集成了Hive JDBC驱动的所有依赖项。Uber JAR的目的是为了方便部署,因为它将所有必需的库合并到一个单一的文件中,避免了类路径...

    hive on tez 常见报错问题收集

    这个问题是由于Hive中的一个已知bug,具体问题可以在Apache JIRA的HIVE-16398中找到。为了解决这个问题,可以尝试增加`hive.localize.resource.num.wait.attempts`的属性值,将其从默认的5提升到如25这样的更高数值...

    flink-connector-hive_2.11-1.10.0-API文档-中文版.zip

    赠送jar包:flink-connector-hive_2.11-1.10.0.jar; 赠送原API文档:flink-connector-hive_2.11-1.10.0-javadoc.jar; 赠送源代码:flink-connector-hive_2.11-1.10.0-sources.jar; 赠送Maven依赖信息文件:flink-...

    flink-connector-hive-2.11-1.12.7-API文档-中文版.zip

    赠送jar包:flink-connector-hive_2.11-1.12.7.jar; 赠送原API文档:flink-connector-hive_2.11-1.12.7-javadoc.jar; 赠送源代码:flink-connector-hive_2.11-1.12.7-sources.jar; 赠送Maven依赖信息文件:flink-...

    apache-hive-2.1.0-bin.tar.gz

    2. **Hive CLI (Command Line Interface)**:Hive的命令行接口,让用户可以通过输入HQL语句来执行查询和管理数据仓库。 3. **Hive Server**:提供了远程访问Hive的接口,支持多种客户端连接方式,如Beeline(一个...

Global site tag (gtag.js) - Google Analytics