`
guoyunsky
  • 浏览: 855252 次
  • 性别: Icon_minigender_1
  • 来自: 上海
博客专栏
3d3a22a0-f00f-3227-8d03-d2bbe672af75
Heritrix源码分析
浏览量:206448
Group-logo
SQL的MapReduce...
浏览量:0
社区版块
存档分类
最新评论

Hive源码分析(二) Eclipse调试Hive源码报does not have a scheme错误解决

 
阅读更多

   本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1177909    

    欢迎加入Hadoop超级群: 180941958   

     终于可以调试Hive源码了.首当其冲的就报了这个错误:

FAILED: Error in metadata: java.lang.IllegalArgumentException: URI:  does not have a scheme
2011-09-22 11:54:57,890 ERROR [main] session.SessionState$LogHelper(343): FAILED: Error in metadata: java.lang.IllegalArgumentException: URI:  does not have a scheme
org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: URI:  does not have a scheme
	at org.apache.hadoop.hive.ql.metadata.Hive.getDatabase(Hive.java:1028)
	at org.apache.hadoop.hive.ql.metadata.Hive.databaseExists(Hive.java:1013)
	at org.apache.hadoop.hive.ql.exec.DDLTask.showTables(DDLTask.java:1691)
	at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:289)
	at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)
	at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
	at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)
	at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)
	at org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)
	at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)
	at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)
	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:456)
Caused by: java.lang.IllegalArgumentException: URI:  does not have a scheme
	at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:127)
	at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:1855)
	at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:1865)
	at org.apache.hadoop.hive.ql.metadata.Hive.getDatabase(Hive.java:1024)
	... 11 more

  然后启动后在控制台也收到这样一条Log:hive-log4j.properties not found

 

    源码调下来,发现是Hive在加载配置文件如hive-default.xml,hive-log4j.properties时采用这种方法:

 private ClassLoader classLoader;
  {
    classLoader = Thread.currentThread().getContextClassLoader();
    if (classLoader == null) {
      classLoader = Configuration.class.getClassLoader();
    }
  }

   然后获取hive-default.xml等是采用如下代码:

URL hconfurl = getClassLoader().getResource("hive-default.xml");

   这样在jar中运行是没有问题的,但放到Eclipse里运行的话,获取的路径就会有出路了.现在来验证下:

 

package com.guoyun.hive.study.basic;

public class PrintSourcePath {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		ClassLoader loader=Thread.currentThread().getContextClassLoader();
		System.out.println("Run path:"+loader.getResource("").getPath());
		// hive-default.xml
		System.out.println("hive-default.xml path:"+loader.getResource("hive-default.xml").getPath());

	}

}

    控制台输出如下:

    Run path:/home/hadoop/workspace/hive-0.7.0/bin/
    Exception in thread "main" java.lang.NullPointerException
    at com.guoyun.hive.study.basic.PrintSourcePath.main(PrintSourcePath.java:12)

   在获取hive-default.xml文件源时报来空指针异常,现在将hive_home/conf下到文件拷到hive/bin下,再运行这个类就不会报错了,我的运行结果如下:

    Run path:/home/hadoop/workspace/hive-0.7.0/bin/

    hive-default.xml path:/home/hadoop/workspace/hive-0.7.0/bin/hive-default.xml

 

  之后再来调试Hive源码,Log:hive-log4j.properties not found已经不出现了。同时也没这个错误来。该问题解决!但接下来又发生了其他错误。。。一步步解决吧。

 

更多技术文章、感悟、分享、勾搭,请用微信扫描:

 

0
1
分享到:
评论
1 楼 keylab 2016-04-06  
我勒个去,加个群还需要支付费用才能加,这个境界简直无敌!!!

相关推荐

    hive源码分析

    ### Hive源码分析 #### 背景与概述 Hive是Facebook开发的一款数据仓库工具,用于处理存储在Hadoop文件系统中的大量数据集。它通过提供SQL-like语言HiveQL来简化对这些数据的查询过程。本文将深入剖析Hive 0.7.1...

    Hive3.1.2编译源码

    使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...

    Hive on Spark源码分析DOC

    Hive on Spark源码分析 Hive on Spark 源码分析是指将 Hive 默认的执行...通过对 Hive on Spark 的源码分析,我们可以更好地理解 Hive on Spark 的运行机理和实现原理,从而更好地应用 Hive on Spark 解决实际问题。

    cloudera-hive-cdh6.3.2源码包

    **Hive 源码分析** Hive 是一个基于 Hadoop 的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,用来进行数据分析。在 CDH(Cloudera Distribution Including Apache Hadoop...

    eclipse集成hadoop+spark+hive开发源码实例

    10. **开发源码**:现在你可以在Eclipse中编写Hadoop MapReduce、Spark应用和Hive查询。使用Eclipse的调试功能测试和优化代码。 这个压缩包"SparkHive"可能包含了示例代码或教程资源,用于演示如何在Eclipse中实现...

    apache-hive-1.2.1源码包(已编译)(含Hive的使用全解)

    通过深入学习和分析"apache-hive-1.2.1源码包",开发者可以更好地理解Hive的工作流程,优化查询性能,甚至定制化开发满足特定业务场景的功能。对于大数据领域的工程师来说,这是一份宝贵的资源。

    hive2.1.1中orc格式读取报数组越界错误解决方法

    在Hive 2.1.1版本中,ORC(Optimized Row Columnar)格式是一种高效的数据存储方式,尤其适用于大数据处理。它提供了压缩、索引和列式存储等特性,能够极大地提高查询性能。然而,有时候在使用ORC格式读取数据时,...

    基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip

    基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip启动方式 环境启动 hadoop hive2元数据库 sql导入 导入hivesql脚本,修改application.yml 启动主程序 HadoopApplication 基于Hadoop Hive健身馆可视化...

    hive2.0源码

    总的来说,Hive 2.0的源码分析是一次深入理解大数据查询处理、分布式系统和数据库管理系统的宝贵机会。它涵盖了编译理论、分布式计算、数据库设计等多个领域的知识,对于想在大数据领域深化学习的开发者来说,是...

    spark操作hive表源码

    本篇文章将深入探讨如何使用Spark 2.1的API操作Hive表,并通过源码分析来理解其内部机制。 首先,我们需要在Spark中配置Hive的相关信息,包括Hive的元数据存储位置、Hive的配置文件路径等。这通常在创建...

    hive-jdbc015快照版源码

    Hive JDBC是Apache Hive项目的一部分,它提供了一个Java数据库连接(JDBC)接口,使得其他应用程序,如Python、Java或任何支持JDBC的语言,能够与Hive数据仓库进行交互。这个"hive-jdbc015快照版源码"应该是Hive ...

    java操作Hive源码之HiveJDBC实例(mysql数据库)

    在Java编程环境中,与Hive进行交互通常涉及使用Hive JDBC驱动程序,这是一种允许Java应用程序通过JDBC(Java Database Connectivity)接口与Hadoop上的Hive数据仓库进行通信的方式。本实例将聚焦于如何使用Java和...

    HDP3.1.5源码下载—hadoop hbase hive

    标题中的“HDP3.1.5源码下载—hadoop hbase hive”指的是Hortonworks Data Platform(HDP)的3.1.5版本,它是一个全面的大数据解决方案,包含了对Hadoop、HBase和Hive等组件的源代码支持。这个版本是大数据开发者和...

    利用Hive进行复杂用户行为大数据分析及优化案例

    利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) ...

    学习-hive源码.doc

    Hive是大数据处理领域的一个重要组件,...学习Hive源码可以帮助我们更好地掌握其内部机制,从而提升应用效率和解决实际问题的能力。然而,要根据具体业务需求来选择合适的数据处理工具,以达到最佳的性能和用户体验。

    hive编译源码的资料

    编译Hive源码是一项对于开发者来说非常重要的任务,特别是对于那些希望自定义功能、调试或优化Hive性能的人员。以下是对Hive源码编译过程的详细步骤和相关知识点的全面解析: 1. **环境准备**: - Java环境:确保...

    Scala代码积累之spark streaming kafka 数据存入到hive源码实例

    Scala代码积累之spark streaming kafka 数据存入到hive源码实例,Scala代码积累之spark streaming kafka 数据存入到hive源码实例。

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip 【项目介绍】 使用Hadoop技术可快速生成分析结果,对6万条美妆销售数据分析,将数据转化为有价值的数据。 在Centos7中搭建 ...

Global site tag (gtag.js) - Google Analytics