`

hive应用示例

    博客分类:
  • hive
 
阅读更多
简单示例
我们以以下数据作为测试数据,结构为(班级号,学号,成绩)。
C01,N0101,82
C01,N0102,59
C01,N0103,65
C02,N0201,81
C02,N0202,82
C02,N0203,79
C03,N0301,56
C03,N0302,92
C03,N0306,72
执行以下命令:

create table student(classNostring, stuNo string, score int) row format delimited fields terminated by ',';

其中,定义表结构和SQL类似.。其它设置表示字段间以逗号分隔,一行为一个记录。

load data local inpath '/home/user/input/student.txt'overwrite into table student;

输出结果如下:

Copying data fromfile:/home/user/input/student.txt

Copying file:file:/home/user/input/student.txt

Loading data to tabledefault.student

rmr: DEPRECATED: Please use 'rm-r' instead.

Deleted/user/hive/warehouse/student

Table default.student stats:[num_partitions: 0, num_files: 1, num_rows: 0, total_size: 117, raw_data_size:0]

这个命令将student.txt文件内容加载到表student中。这个加载操作将直接把student.txt文件复制到hive的warehouse目录中,这个目录由hive.metastore.warehouse.dir配置项设置,默认值为/user/hive/warehouse。Overwrite选项将导致Hive事先删除student目录下所有的文件。

Hive不会对student.txt做任何格式处理,因为Hive本身并不强调数据的存储格式。

此例中,Hive将数据存储于HDFS系统中。当然,Hive也可以将数据存储于本地。

如果不加overwrite选项,且加载的文件在Hive中已经存在,则Hive会为文件重新命名。比如不加overwrite选项将以上命令执行两次,则第二次加载后,hive中新产生的文件名将会是“student_copy_1.txt”。(和Hadoop权威教程中描述的不一致,读者请慎重验证)

接下来,我们执行以下命令:

select * from student;

输出如下:

C01  N0101      82
C01  N0102      59
C01  N0103      65
C02  N0201      81
C02  N0202      82
C02  N0203      79
C03  N0301      56
C03  N0302      92
C03  N0306      72

执行以下命令:

Select classNo,count(score) fromstudent where score>=60 group by classNo;

输出如下:

C01  2
C02  3
C03  2

由此看见,HiveQL的使用和SQL及其类似。我们用到了group和count,其实在后台Hive将这些操作都转换成了MapReduce操作提交给Hadoop执行,并最终输出结果。
分享到:
评论

相关推荐

    programming_hive-master.zip

    在"programming_hive-master"中,可能包含了各种Hive应用示例、数据处理脚本、测试用例等,读者可以通过这些代码学习如何在实际项目中运用Hive。例如,可能包含创建表的HQL脚本、数据导入脚本、复杂查询示例、性能...

    SpringBoot整合hive-jdbc示例

    Hive-JDBC是Hive提供的一个客户端接口,允许Java应用程序通过JDBC连接到Hive服务器,执行SQL查询并获取结果。它为Hive提供了标准的数据库访问方式,使得开发者能够像操作关系型数据库一样操作Hive。 ### 2. ...

    大数据技术基础实验报告-Hive安装配置与应用.doc

    【大数据技术基础实验报告-Hive安装配置...总结,本实验报告详细介绍了如何在Linux环境下安装、配置Hive,并给出了Hive的基本应用示例。理解并掌握这些步骤和概念,将有助于进一步学习和应用Hive进行大数据处理和分析。

    hive客户端java代码示例.zip

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化...在提供的压缩包文件中,可能包含了更多关于如何在Java中使用Hive客户端的示例代码,你可以进一步学习和研究,以便更好地理解和应用这些技术。

    细细品味Hadoop_Hadoop集群(第14期)_Hive应用开发.pdf

    【Hive的使用示例】 1. **Hive Shell操作**:用户可以通过`select`语句查询数据,如`select name from xp;`。执行HiveQL语句会触发MapReduce作业,执行结果保存在HDFS的特定目录下。 2. **HDFS文件操作**:使用...

    全国职业院校技能大赛-大数据应用赛项-hive搭建配置参数示例

    全国职业院校技能大赛-大数据应用赛项-hive搭建配置参数示例

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    Hive JDBC提供了对Hive的JDBC支持,允许Java应用执行HiveQL语句并获取结果。 要使用Hive JDBC,你需要在你的Java Maven项目中添加Hive JDBC的依赖。这可以通过在`pom.xml`文件中配置对应的依赖项来完成。例如: ``...

    Hive-jdbc-3.1.1.zip

    9. **示例和教程**:虽然压缩包本身可能不包含示例代码,但Hive JDBC通常会配合官方文档或社区提供的教程,帮助初学者快速上手。 总之,Hive JDBC 3.1.1是大数据开发中的一个重要组件,它使得Hive能够无缝集成到...

    hive函数应用

    本文将重点介绍Hive中的基础函数应用,特别聚焦于聚合函数如`count`, `sum`以及一些基本的比较运算符和数学运算。 ### 聚合函数 #### COUNT `COUNT`函数用于计算行的数量。它可以接受一个列名作为参数来计算该列...

    spark连接HIveDemo

    这允许Spark应用程序使用Hive的表和函数,同时利用Spark的高性能计算能力。 步骤一:环境配置 确保你已经安装了Apache Spark和Hive,并且它们的版本兼容。在配置Spark时,需要在`spark-defaults.conf`文件中指定...

    hive影评案例.rar

    在大数据分析领域,Hive...通过这个“hive影评案例”,学习者可以实践如何使用Java编写Hive应用程序,同时了解Hive在大数据分析中的实际应用。掌握这些技能将有助于理解大数据处理的流程,提高解决复杂数据问题的能力。

    hive-jdbc-1.1.0驱动相关jar包

    以下是一个简单的示例,展示了如何在Java代码中加载和使用Hive JDBC驱动: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class HiveJdbcExample { ...

    使用php连接hive

    标题“使用PHP连接Hive”涉及的技术点主要是如何在PHP编程环境中通过特定的库和工具与Hadoop Hive数据仓库系统进行...通过正确配置和编写代码,你可以创建一个强大的PHP应用,用于处理和分析存储在Hive中的大规模数据。

    Hive几种数据导入方式

    Hive 是一种广泛应用于大数据处理领域的工具,它为用户提供了类 SQL 的查询语言 HiveQL,使用户能够更加便捷地进行数据提取、转换与加载(ETL)。本文主要针对 Ambari 搭建的 Hadoop 环境下,Hive 的几种数据导入...

    hive影评案例.zip

    标题中的“hive影评案例.zip”表明这是一个关于使用Hive处理电影评论数据的示例。Hive是基于Hadoop的数据仓库工具,它允许用户通过SQL(HQL,Hive SQL)查询分布式存储的大数据集。这个压缩包可能包含了用于分析用户...

    Hive配置(Oracle数据库为元数据)

    其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 mapreduce 统计,不必开发专门的 mapreduce 应用,十分适合数据仓库的统计分析。 当需要使用 Oracle 数据库作为 Hive 的元数据存储时,我们需要对 Hive ...

    springboot+mybatisplus+druid+hive+mysql.zip

    在【压缩包子文件的文件名称列表】中,我们看到的"hive-demo-master"可能是一个包含Hive使用示例的项目,它可能包含配置文件、Java代码、测试脚本等,用于演示如何在SpringBoot项目中集成Hive,进行数据的读写操作。...

    hive性能优化

    5. Hive布局示例 - Hive的目录结构可以反映数据库、表、分区、桶和尝试次数等信息。 - 每个文件内部数据是排序的。 6. 布局指南 - 限制分区数量通常比较高效,1000个分区通常比10000个分区更快。 - 嵌套分区...

    Hive-driver.rar

    Hive驱动程序(通常以.jar文件形式存在)是连接Hive服务器与客户端应用之间的桥梁。在Java应用程序中,当需要通过编程方式访问Hive数据库时,这个驱动jar包是必不可少的。Hive驱动支持JDBC(Java Database ...

Global site tag (gtag.js) - Google Analytics