`
knight_black_bob
  • 浏览: 858096 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive java 实例

    博客分类:
  • hive
阅读更多

 

 

 

下载  jdo2-api-2.3-ec hive hdfs 所需jar 

http://download.csdn.net/download/knight_black_bob/9725194

 

常见命令

hive 常见命令
create table test(uid string,name string)row format delimited fields terminated by '/t' 见表语句
desc formatted test;        表的约束  
desc  test;        表的约束  
LOAD DATA local INPATH '/root/test3.log' OVERWRITE INTO TABLE test;  本地文件添加数据到hive
LOAD DATA   INPATH '/user/hadoop/test5.log' OVERWRITE INTO TABLE test;       hdfs 添加数据到hive
select * from test;        查询数据  
select count(1) from test; 做mapreduce操作运算需要 hadoop 权限


hdfs 常见命令
hdfs dfs -copyFromLocal test3.log /user/hadoop/test5.log 拷贝
hdfs dfs -cat /user/hadoop/test5.log   查看文件内容
hdfs dfs -lsr /user/hadoop        遍历目录  
hdfs dfs -rmr /user/hadoop/storm/ 删除
hdfs dfs -appendToFile test3.log /user/hadoop/test5.log 添加

 

 

pom

 

 <dependency>
	 <groupId>org.apache.hive</groupId>
			<artifactId>hive-jdbc</artifactId> 
			<version>0.11.0</version>
 </dependency>

 <dependency>
	 <groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId> 
			<version>2.2.0</version>
 </dependency>

 

 

 

 

 

/**
 * @Type HiveTest.java
 * @Desc 
 * @author hadoop
 * @date 2016年12月29日 下午2:20:46
 * @version 
 */
public class HiveTest {

    private static String driverName = "org.apache.hive.jdbc.HiveDriver";

    public static void main(String[] args)
            throws SQLException {
        try {
            Class.forName(driverName);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            System.exit(1);
        }
        Connection con = DriverManager.getConnection("jdbc:hive2://172.23.27.120:10000/default", "hive", "hive");

        Statement stmt = con.createStatement();
        String tableName = "test";
        //stmt.execute("drop table if exists " + tableName);
        //stmt.execute("create table " + tableName + " (key int, value string) row format delimited fields terminated by ','");
        // show tables
        String sql = "show tables '" + tableName + "'"; 
        ResultSet res = stmt.executeQuery(sql);
        if (res.next()) {
            System.out.println(res.getString(1));
        }

        System.out.println("==================================");
        sql = "describe " + tableName;
        System.out.println("Running: " + sql);
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1) + "\t" + res.getString(2));
        }

        System.out.println("==================================");
        sql = "select * from " + tableName;
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
        }

        System.out.println("==================================");
        sql = "select  * from " + tableName +" where  key ='1' ";
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
        }
        
        sql = "select count(1) from " + tableName;
        System.out.println("Running: " + sql);
        res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1));
        }
        System.out.println("==================================");
    }
}

 

 



 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。



 
 谢谢您的赞助,我会做的更好!

 

 

 

 

  • 大小: 10.6 KB
0
1
分享到:
评论

相关推荐

    java操作Hive源码之HiveJDBC实例(mysql数据库)

    本实例将聚焦于如何使用Java和HiveJDBC来操作基于MySQL的Hive元数据存储。以下是一份详细的步骤指南和相关知识点解释: 1. **HiveJDBC简介**: HiveJDBC是Hive提供的一种JDBC驱动,使得任何支持JDBC的应用程序,如...

    用于hive的实例

    本文将通过一个具体的Java与Hive结合的实例,深入讲解如何利用Java API进行Hive的操作,以加深对Hive语句的理解。 首先,要使用Java与Hive交互,我们需要引入Hive的JDBC驱动。在项目中,可以通过Maven或Gradle添加...

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query ...通过这个实例,你现在已经具备了使用Hive JDBC的基础知识,可以进一步探索更高级的Hive和Java集成技术。

    java_hive简单查询

    在Java代码中,首先需要创建一个`DriverManager.getConnection()`实例,提供Hive服务器的URL、用户名和密码。例如: ```java String url = "jdbc:hive2://localhost:10000/default;principal=hive/_HOST@YOUR-...

    hadoop+hive+mapreduce的java例子

    基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...

    JDBC连接Hive实例

    在进行JDBC连接Hive时,理解Hadoop和Hive的体系结构、熟悉Java编程以及JDBC的工作原理至关重要。同时,根据具体的应用场景,合理配置和优化连接参数,可以极大地提高数据处理的效率和稳定性。在开发过程中,不断地...

    大数据 java hive udf函数的示例代码(手机号码脱敏)

    在本文中,我们将通过实例代码,详细介绍如何开发和使用 Java Hive UDF 函数。 UDF 函数的实现 首先,我们需要在 Maven 项目中添加依赖项,包括 Hadoop 和 Hive。 Maven 项目的 POM 文件如下所示: ```xml ...

    HiveAPI:用Java编写的Hive Rest API

    HiveAPI使用Java语言开发,这是因为Java具有良好的跨平台性、丰富的库支持和强大的并发处理能力,这使得它成为开发分布式系统,尤其是与Hadoop生态系统交互的理想选择。通过Java,HiveAPI可以方便地与Hive服务器建立...

    hive影评案例.zip

    4. **MovieTypeUDTF.java** - 这是一个Java源代码文件,名字中的"UDTF"通常代表User Defined Table-Valued Function,这是Hive中的一种函数类型,用于扩展Hive的功能,将单行输入转换为多行输出。这个特定的函数可能...

    apache-hive-2.3.9-bin.tar大数据HIVE.zip

    元数据可以存储在本地MySQL或远程数据库中,以便多个Hive实例共享。 3. **Hive SQL(HQL)**:HQL是Hive提供的SQL方言,用于查询和管理数据。它支持SELECT、INSERT、UPDATE、DELETE等基本操作,以及JOIN、GROUP BY...

    eclipse集成hadoop+spark+hive开发源码实例

    在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...

    Hive驱动1.1.0.zip

    在DataGrip这样的专业数据库IDE中,Hive驱动是建立与Hive实例连接的必要部分。DataGrip是JetBrains公司推出的一款强大的数据库和SQL IDE,支持多种数据库管理系统,包括Hive。 要使用DataGrip连接到Hive 1.1.0,你...

    Hive2Hive-master.rar

    通过这个工具,用户可以轻松地在不同Hive实例之间进行数据同步,而无需手动编写复杂的网络通信代码。 6. **性能优化**: 为了提高同步效率,项目可能采用了多线程处理、数据压缩、数据分区同步等技术。同时,根据...

    Spark不能使用hive自定义函数.doc

    ### Spark与Hive自定义函数兼容性问题解析 在大数据处理领域,Apache Spark 和 Apache Hive 都是非常重要的工具。Spark 是一种快速通用的大规模数据处理系统,而Hive 则是一种数据仓库工具,主要用于对存储在 ...

    hive-jdbc-uber-2.6.5.0-292.zip

    这暗示可能存在兼容性问题,或者是DataGrip内置的默认驱动与某些Hive实例不匹配,而此Uber JAR提供了一个可能的解决方案。 Hive JDBC是Apache Hive提供的Java数据库连接(JDBC)驱动,它允许开发者通过标准的JDBC...

    rpi-hive-3.1.2.tar.gz

    Java堆内存是Java虚拟机管理的主要内存区域,用于存放对象实例。当程序运行时需要的内存超过分配的堆内存大小,就会抛出"JAVA HEAP SIZE"错误,通常需要通过调整JVM的-Xms和-Xmx参数来增大初始和最大堆内存大小。 ...

    大数据之Hive官方文档简要翻译(中文文档)

    对于当前的配置选项,建议参考HiveConf Java类或Hive语言手册中的相关部分,以获取最准确和最新的信息。 在实际操作中,确保正确配置元存储是非常重要的,因为它直接影响到Hive对数据的访问效率和整体系统的稳定性...

    hive-3.1.2&mysql-5.7.2安装包.rar

    在 Hive 中设置 metastore(元数据存储)连接,可以选择本地 MySQL 实例作为 metastore 服务,这将提高 Hive 的性能和数据一致性。 总的来说,这个安装包提供了在大数据环境中使用 Hive 进行数据处理并与 MySQL ...

    DbVisualizer最新版本连接hive所需全部jar包

    在最新的10.0.7版本中,为了能够成功连接到Hive 2.1.1实例,你需要确保你拥有与Hadoop 2.7.3兼容的所有必要JAR文件。这些JAR文件包含了与Hive交互所需的API和库,比如Hive客户端、Hadoop Common、HDFS、MapReduce...

    apache-hive-2.0.0

    7. **高可用性**:Hive Server 和 Metastore 可以配置为多实例,以提高服务的可靠性。 8. **安全特性**:支持 Hadoop 的安全特性,如 Kerberos 认证和 ACLs 权限控制。 在压缩包 "apache-hive-2.0.0-src" 中,你会...

Global site tag (gtag.js) - Google Analytics