`
eclipse_cc
  • 浏览: 5519 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

在IDE上调试Hive

    博客分类:
  • hive
阅读更多
编译、调试Hive
最近在公司研究Hive源码,积累了一些经验,写了一些东西,陆续更新,希望对感兴趣的朋友有所帮助,本人新手欢迎拍砖指教,打字不易,转载请注明出处http://eclipse-cc.iteye.com/blog/1410012。

通过以下步骤您可以使用IDE修改、编译、调试Hive:
这里使用NetBeans编译并调试Hive(0.7.1)
1. 新建Java应用程序项目
2. 导入需要调试的源包
3. 在库中添加hive目录lib下的所有jar、Hadoop项目依赖(无hadoop调试需求的也可以直接导入hadoop的core)、mysql库(如果跟我一样,metastore用mysql存。BTW,我发现不同版本hive的meta表结构会不同,如生产环境采用hive 0.7.0版本,使用0.7.1可以正常访问,但是0.8.0访问时会因为取不到列信息而在validation过程中出错)
4. 这步很重要,在运行选项卡中将编译的源至于类路径之上,不明白的话复习下ClassLoader
5. 将hive配置文件放到项目默认包里
6. 这时候就可以编译、调试了,为了可以在IDE的console中输入hive脚本,需要改一下cliDriver类的命令采集代码,使用Scanner(System.in)什么的随便你了。

遇到的问题:
Hadoop版本不识别:修改shimloader类,显示对vars赋值
MySQL连不上:检查防火墙、远程连接授权
Windows上不能访问tmp目录:给Context类localScratchDir变量赋值

声明:以上解决问题的方法仅是为了快速编译与调试,解决问题的思想不可取。
分享到:
评论

相关推荐

    TPCDS测试-99条Hive基准测试流程

    本篇文章将详细介绍如何进行TPCDS在Hive上的基准测试流程,以及相关的技术要点。 **一、TPCDS简介** TPCDS是一个决策支持系统的标准测试套件,包含了99个复杂的SQL查询,涵盖了多种业务场景,如数据挖掘、报表生成...

    hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本

    在“hive-testbench-hive14.zip”这个压缩包中,包含了针对Hive 1.4版本的测试脚本,这是一组精心设计的测试用例,用于评估Hive在处理TPCDS标准数据集时的性能。TPCDS包含99个标准SQL查询,这些查询涵盖了从简单到...

    Hive面试题SQL测试题目1数据

    文章Hive面试题SQL测试题目所需数据,包含建表语句 测试数据等等...................

    Hive驱动1.1.0.zip

    在DataGrip这样的专业数据库IDE中,Hive驱动是建立与Hive实例连接的必要部分。DataGrip是JetBrains公司推出的一款强大的数据库和SQL IDE,支持多种数据库管理系统,包括Hive。 要使用DataGrip连接到Hive 1.1.0,你...

    如何在python中写hive脚本

    在Python中编写Hive脚本主要是为了方便地与Hadoop HIVE数据仓库进行交互,这样可以在数据分析和机器学习流程中无缝地集成大数据处理步骤。以下将详细介绍如何在Python环境中执行Hive查询和管理Hive脚本。 1. **直接...

    连接hive依赖的jar包_hive连接方式

    这让你能够在熟悉的IDE环境中操作Hive,提升工作效率。 7. **注意事项** - 确保Hive服务器已启动并允许远程连接。 - 检查防火墙设置,确保允许DataGrip所在机器访问Hive服务器的端口。 - 驱动版本应与Hive服务...

    一种基于数据仓库工具Hive组件的测试方法及系统.pdf

    本资源总结了基于数据仓库工具Hive组件的测试方法及系统,该系统旨在提供一种高效、可靠的测试方法,以确保 Hive 组件在大规模数据仓库系统中的稳定运行。下面是该系统的详细介绍: 一、背景 随着数据仓库技术的...

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...

    hive 驱动包 hive 链接 datagrip的驱动包

    理解Hive的驱动包和如何在IDE中配置它们对于进行高效的大数据操作至关重要。Hive JDBC驱动程序允许Java应用程序通过JDBC接口与Hive通信,这使得像DataGrip这样的工具能够无缝地与Hive交互。掌握这些知识和步骤,你就...

    HIVE安装及详解

    "HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...

    hive客户端安装_hive客户端安装_hive_

    在大数据处理领域,Hive是一个非常重要的工具,它提供了一个基于Hadoop的数据仓库基础设施,用于数据查询、分析和管理大规模数据集。本教程将详细讲解如何在Linux环境下安装Hive客户端,以便进行数据操作和分析。 ...

    基于 Antlr4 的 Hive SQL 解析.zip

    在本课程设计中,主题是“基于Antlr4的Hive SQL解析”,这涉及到了两个主要的技术领域:Antlr4和Hive SQL。Antlr4是一个强大的解析工具,用于生成解析器和词法分析器,它能处理各种语言的语法,包括SQL。而Hive SQL...

    Ambari下Hive3.0升级到Hive4.0

    在大数据领域,Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具,而 Hive 是一个基于 Hadoop 的数据仓库系统,用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...

    使用php连接hive

    Hive是Apache Hadoop项目的一部分,它提供了SQL-like查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大数据。在PHP中操作Hive通常需要借助于Thrift框架,因为Hive对外提供的服务接口是基于Thrift的。 ...

    hivesql语句练习

    5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址...

    大数据Hive测试数据uaction.rar

    在Hive中,数据通常是存储在分隔符分割的文本文件中,例如CSV或TSV格式,每行代表一条记录,列之间用特定字符(如逗号、制表符)分隔。"uaction.dat"文件可能采用了类似格式,每行记录了一个用户的某个操作,列可能...

    数据库工具连接hive的驱动包

    在IT行业中,数据库管理和分析是至关重要的任务,而Hive作为一个大数据处理的仓库系统,它提供了对结构化数据的查询和分析能力。当需要通过图形化的数据库管理工具,如DBeaver,与Hive进行交互时,就需要用到特定的...

    kerberos认证hive连接代码

    在Spring MVC中,我们可以创建一个这样的监听器来处理Hive的连接生命周期,例如在连接开启和关闭时执行特定的操作。 `springmvc配置`涉及到的是Spring框架的配置文件,通常以XML格式存在,如`hive-config.xml`。在...

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的界面和强大的功能,深受开发者喜爱。当需要在DBeaver中操作Hive...

    hive3.0以上连接Datagrip所需要的jar包

    将这些JAR添加到Datagrip的库或类路径中后,你可以在IDE内创建Hive数据源,输入Hive服务器的地址、端口、用户名和密码,然后就可以开始编写和执行HQL查询了。 总结一下,要在Datagrip中成功连接Hive 3.0及以上版本...

Global site tag (gtag.js) - Google Analytics