下载 jdo2-api-2.3-ec hive hdfs 所需jar
http://download.csdn.net/download/knight_black_bob/9725194
常见命令
hive 常见命令 create table test(uid string,name string)row format delimited fields terminated by '/t' 见表语句 desc formatted test; 表的约束 desc test; 表的约束 LOAD DATA local INPATH '/root/test3.log' OVERWRITE INTO TABLE test; 本地文件添加数据到hive LOAD DATA INPATH '/user/hadoop/test5.log' OVERWRITE INTO TABLE test; hdfs 添加数据到hive select * from test; 查询数据 select count(1) from test; 做mapreduce操作运算需要 hadoop 权限 hdfs 常见命令 hdfs dfs -copyFromLocal test3.log /user/hadoop/test5.log 拷贝 hdfs dfs -cat /user/hadoop/test5.log 查看文件内容 hdfs dfs -lsr /user/hadoop 遍历目录 hdfs dfs -rmr /user/hadoop/storm/ 删除 hdfs dfs -appendToFile test3.log /user/hadoop/test5.log 添加
pom
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>0.11.0</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.2.0</version> </dependency>
/** * @Type HiveTest.java * @Desc * @author hadoop * @date 2016年12月29日 下午2:20:46 * @version */ public class HiveTest { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { try { Class.forName(driverName); } catch (ClassNotFoundException e) { e.printStackTrace(); System.exit(1); } Connection con = DriverManager.getConnection("jdbc:hive2://172.23.27.120:10000/default", "hive", "hive"); Statement stmt = con.createStatement(); String tableName = "test"; //stmt.execute("drop table if exists " + tableName); //stmt.execute("create table " + tableName + " (key int, value string) row format delimited fields terminated by ','"); // show tables String sql = "show tables '" + tableName + "'"; ResultSet res = stmt.executeQuery(sql); if (res.next()) { System.out.println(res.getString(1)); } System.out.println("=================================="); sql = "describe " + tableName; System.out.println("Running: " + sql); res = stmt.executeQuery(sql); while (res.next()) { System.out.println(res.getString(1) + "\t" + res.getString(2)); } System.out.println("=================================="); sql = "select * from " + tableName; res = stmt.executeQuery(sql); while (res.next()) { System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2)); } System.out.println("=================================="); sql = "select * from " + tableName +" where key ='1' "; res = stmt.executeQuery(sql); while (res.next()) { System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2)); } sql = "select count(1) from " + tableName; System.out.println("Running: " + sql); res = stmt.executeQuery(sql); while (res.next()) { System.out.println(res.getString(1)); } System.out.println("=================================="); } }
捐助开发者
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。
谢谢您的赞助,我会做的更好!
相关推荐
本实例将聚焦于如何使用Java和HiveJDBC来操作基于MySQL的Hive元数据存储。以下是一份详细的步骤指南和相关知识点解释: 1. **HiveJDBC简介**: HiveJDBC是Hive提供的一种JDBC驱动,使得任何支持JDBC的应用程序,如...
本文将通过一个具体的Java与Hive结合的实例,深入讲解如何利用Java API进行Hive的操作,以加深对Hive语句的理解。 首先,要使用Java与Hive交互,我们需要引入Hive的JDBC驱动。在项目中,可以通过Maven或Gradle添加...
在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query ...通过这个实例,你现在已经具备了使用Hive JDBC的基础知识,可以进一步探索更高级的Hive和Java集成技术。
在Java代码中,首先需要创建一个`DriverManager.getConnection()`实例,提供Hive服务器的URL、用户名和密码。例如: ```java String url = "jdbc:hive2://localhost:10000/default;principal=hive/_HOST@YOUR-...
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
在进行JDBC连接Hive时,理解Hadoop和Hive的体系结构、熟悉Java编程以及JDBC的工作原理至关重要。同时,根据具体的应用场景,合理配置和优化连接参数,可以极大地提高数据处理的效率和稳定性。在开发过程中,不断地...
在本文中,我们将通过实例代码,详细介绍如何开发和使用 Java Hive UDF 函数。 UDF 函数的实现 首先,我们需要在 Maven 项目中添加依赖项,包括 Hadoop 和 Hive。 Maven 项目的 POM 文件如下所示: ```xml ...
HiveAPI使用Java语言开发,这是因为Java具有良好的跨平台性、丰富的库支持和强大的并发处理能力,这使得它成为开发分布式系统,尤其是与Hadoop生态系统交互的理想选择。通过Java,HiveAPI可以方便地与Hive服务器建立...
4. **MovieTypeUDTF.java** - 这是一个Java源代码文件,名字中的"UDTF"通常代表User Defined Table-Valued Function,这是Hive中的一种函数类型,用于扩展Hive的功能,将单行输入转换为多行输出。这个特定的函数可能...
元数据可以存储在本地MySQL或远程数据库中,以便多个Hive实例共享。 3. **Hive SQL(HQL)**:HQL是Hive提供的SQL方言,用于查询和管理数据。它支持SELECT、INSERT、UPDATE、DELETE等基本操作,以及JOIN、GROUP BY...
在Windows操作系统中,Eclipse是一款广泛使用的Java集成开发环境(IDE),它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说,是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件,以创建...
在DataGrip这样的专业数据库IDE中,Hive驱动是建立与Hive实例连接的必要部分。DataGrip是JetBrains公司推出的一款强大的数据库和SQL IDE,支持多种数据库管理系统,包括Hive。 要使用DataGrip连接到Hive 1.1.0,你...
通过这个工具,用户可以轻松地在不同Hive实例之间进行数据同步,而无需手动编写复杂的网络通信代码。 6. **性能优化**: 为了提高同步效率,项目可能采用了多线程处理、数据压缩、数据分区同步等技术。同时,根据...
### Spark与Hive自定义函数兼容性问题解析 在大数据处理领域,Apache Spark 和 Apache Hive 都是非常重要的工具。Spark 是一种快速通用的大规模数据处理系统,而Hive 则是一种数据仓库工具,主要用于对存储在 ...
这暗示可能存在兼容性问题,或者是DataGrip内置的默认驱动与某些Hive实例不匹配,而此Uber JAR提供了一个可能的解决方案。 Hive JDBC是Apache Hive提供的Java数据库连接(JDBC)驱动,它允许开发者通过标准的JDBC...
Java堆内存是Java虚拟机管理的主要内存区域,用于存放对象实例。当程序运行时需要的内存超过分配的堆内存大小,就会抛出"JAVA HEAP SIZE"错误,通常需要通过调整JVM的-Xms和-Xmx参数来增大初始和最大堆内存大小。 ...
对于当前的配置选项,建议参考HiveConf Java类或Hive语言手册中的相关部分,以获取最准确和最新的信息。 在实际操作中,确保正确配置元存储是非常重要的,因为它直接影响到Hive对数据的访问效率和整体系统的稳定性...
在 Hive 中设置 metastore(元数据存储)连接,可以选择本地 MySQL 实例作为 metastore 服务,这将提高 Hive 的性能和数据一致性。 总的来说,这个安装包提供了在大数据环境中使用 Hive 进行数据处理并与 MySQL ...
在最新的10.0.7版本中,为了能够成功连接到Hive 2.1.1实例,你需要确保你拥有与Hadoop 2.7.3兼容的所有必要JAR文件。这些JAR文件包含了与Hive交互所需的API和库,比如Hive客户端、Hadoop Common、HDFS、MapReduce...
7. **高可用性**:Hive Server 和 Metastore 可以配置为多实例,以提高服务的可靠性。 8. **安全特性**:支持 Hadoop 的安全特性,如 Kerberos 认证和 ACLs 权限控制。 在压缩包 "apache-hive-2.0.0-src" 中,你会...