简单示例
我们以以下数据作为测试数据,结构为(班级号,学号,成绩)。
C01,N0101,82
C01,N0102,59
C01,N0103,65
C02,N0201,81
C02,N0202,82
C02,N0203,79
C03,N0301,56
C03,N0302,92
C03,N0306,72
执行以下命令:
create table student(classNostring, stuNo string, score int) row format delimited fields terminated by ',';
其中,定义表结构和SQL类似.。其它设置表示字段间以逗号分隔,一行为一个记录。
load data local inpath '/home/user/input/student.txt'overwrite into table student;
输出结果如下:
Copying data fromfile:/home/user/input/student.txt
Copying file:file:/home/user/input/student.txt
Loading data to tabledefault.student
rmr: DEPRECATED: Please use 'rm-r' instead.
Deleted/user/hive/warehouse/student
Table default.student stats:[num_partitions: 0, num_files: 1, num_rows: 0, total_size: 117, raw_data_size:0]
这个命令将student.txt文件内容加载到表student中。这个加载操作将直接把student.txt文件复制到hive的warehouse目录中,这个目录由hive.metastore.warehouse.dir配置项设置,默认值为/user/hive/warehouse。Overwrite选项将导致Hive事先删除student目录下所有的文件。
Hive不会对student.txt做任何格式处理,因为Hive本身并不强调数据的存储格式。
此例中,Hive将数据存储于HDFS系统中。当然,Hive也可以将数据存储于本地。
如果不加overwrite选项,且加载的文件在Hive中已经存在,则Hive会为文件重新命名。比如不加overwrite选项将以上命令执行两次,则第二次加载后,hive中新产生的文件名将会是“student_copy_1.txt”。(和Hadoop权威教程中描述的不一致,读者请慎重验证)
接下来,我们执行以下命令:
select * from student;
输出如下:
C01 N0101 82
C01 N0102 59
C01 N0103 65
C02 N0201 81
C02 N0202 82
C02 N0203 79
C03 N0301 56
C03 N0302 92
C03 N0306 72
执行以下命令:
Select classNo,count(score) fromstudent where score>=60 group by classNo;
输出如下:
C01 2
C02 3
C03 2
由此看见,HiveQL的使用和SQL及其类似。我们用到了group和count,其实在后台Hive将这些操作都转换成了MapReduce操作提交给Hadoop执行,并最终输出结果。
分享到:
相关推荐
在"programming_hive-master"中,可能包含了各种Hive应用示例、数据处理脚本、测试用例等,读者可以通过这些代码学习如何在实际项目中运用Hive。例如,可能包含创建表的HQL脚本、数据导入脚本、复杂查询示例、性能...
Hive-JDBC是Hive提供的一个客户端接口,允许Java应用程序通过JDBC连接到Hive服务器,执行SQL查询并获取结果。它为Hive提供了标准的数据库访问方式,使得开发者能够像操作关系型数据库一样操作Hive。 ### 2. ...
【大数据技术基础实验报告-Hive安装配置...总结,本实验报告详细介绍了如何在Linux环境下安装、配置Hive,并给出了Hive的基本应用示例。理解并掌握这些步骤和概念,将有助于进一步学习和应用Hive进行大数据处理和分析。
在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化...在提供的压缩包文件中,可能包含了更多关于如何在Java中使用Hive客户端的示例代码,你可以进一步学习和研究,以便更好地理解和应用这些技术。
【Hive的使用示例】 1. **Hive Shell操作**:用户可以通过`select`语句查询数据,如`select name from xp;`。执行HiveQL语句会触发MapReduce作业,执行结果保存在HDFS的特定目录下。 2. **HDFS文件操作**:使用...
全国职业院校技能大赛-大数据应用赛项-hive搭建配置参数示例
Hive JDBC提供了对Hive的JDBC支持,允许Java应用执行HiveQL语句并获取结果。 要使用Hive JDBC,你需要在你的Java Maven项目中添加Hive JDBC的依赖。这可以通过在`pom.xml`文件中配置对应的依赖项来完成。例如: ``...
9. **示例和教程**:虽然压缩包本身可能不包含示例代码,但Hive JDBC通常会配合官方文档或社区提供的教程,帮助初学者快速上手。 总之,Hive JDBC 3.1.1是大数据开发中的一个重要组件,它使得Hive能够无缝集成到...
本文将重点介绍Hive中的基础函数应用,特别聚焦于聚合函数如`count`, `sum`以及一些基本的比较运算符和数学运算。 ### 聚合函数 #### COUNT `COUNT`函数用于计算行的数量。它可以接受一个列名作为参数来计算该列...
这允许Spark应用程序使用Hive的表和函数,同时利用Spark的高性能计算能力。 步骤一:环境配置 确保你已经安装了Apache Spark和Hive,并且它们的版本兼容。在配置Spark时,需要在`spark-defaults.conf`文件中指定...
在大数据分析领域,Hive...通过这个“hive影评案例”,学习者可以实践如何使用Java编写Hive应用程序,同时了解Hive在大数据分析中的实际应用。掌握这些技能将有助于理解大数据处理的流程,提高解决复杂数据问题的能力。
以下是一个简单的示例,展示了如何在Java代码中加载和使用Hive JDBC驱动: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class HiveJdbcExample { ...
标题“使用PHP连接Hive”涉及的技术点主要是如何在PHP编程环境中通过特定的库和工具与Hadoop Hive数据仓库系统进行...通过正确配置和编写代码,你可以创建一个强大的PHP应用,用于处理和分析存储在Hive中的大规模数据。
Hive 是一种广泛应用于大数据处理领域的工具,它为用户提供了类 SQL 的查询语言 HiveQL,使用户能够更加便捷地进行数据提取、转换与加载(ETL)。本文主要针对 Ambari 搭建的 Hadoop 环境下,Hive 的几种数据导入...
标题中的“hive影评案例.zip”表明这是一个关于使用Hive处理电影评论数据的示例。Hive是基于Hadoop的数据仓库工具,它允许用户通过SQL(HQL,Hive SQL)查询分布式存储的大数据集。这个压缩包可能包含了用于分析用户...
其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 mapreduce 统计,不必开发专门的 mapreduce 应用,十分适合数据仓库的统计分析。 当需要使用 Oracle 数据库作为 Hive 的元数据存储时,我们需要对 Hive ...
在【压缩包子文件的文件名称列表】中,我们看到的"hive-demo-master"可能是一个包含Hive使用示例的项目,它可能包含配置文件、Java代码、测试脚本等,用于演示如何在SpringBoot项目中集成Hive,进行数据的读写操作。...
5. Hive布局示例 - Hive的目录结构可以反映数据库、表、分区、桶和尝试次数等信息。 - 每个文件内部数据是排序的。 6. 布局指南 - 限制分区数量通常比较高效,1000个分区通常比10000个分区更快。 - 嵌套分区...
Hive驱动程序(通常以.jar文件形式存在)是连接Hive服务器与客户端应用之间的桥梁。在Java应用程序中,当需要通过编程方式访问Hive数据库时,这个驱动jar包是必不可少的。Hive驱动支持JDBC(Java Database ...