大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
步骤为
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。
相关推荐
Hive 自定义 UDF 编写函数 本文主要讲解了 Hive 中自定义 UDF 函数的编写方法,包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。 一、创建 UDF 类 为了实现...
Sqoop 是一款用于高效导入导出数据的工具,它可以将数据从传统的 RDBMS(如 MySQL、Oracle 等)导入到 HDFS,或者从 HDFS 导出到 RDBMS。在这个压缩包中,可能包含有关如何配置 Sqoop 与 Hive 集成的信息,以便于在...
本教程将深入探讨Hive数仓的架构与设计,Hive SQL的基本语法及高级特性,以及如何自定义函数以满足特定需求,并详细解析Hive的重要参数配置。 1. Hive数仓: - 数据仓库概念:数据仓库是为决策支持系统设计的,...
Hive还提供了丰富的内置函数,以及用户自定义函数(UDF)的接口,使得用户可以扩展其功能。此外,Hive通过Hive Metastore服务来管理和存储元数据,包括表的定义、分区信息等,这些元数据通常会存储在关系型数据库中...
【知识点详解】 ...在这个案例中,我们了解了如何利用Hive进行各种统计分析,包括设备类型分析、评论周期计算、会员级别统计以及自定义函数的应用。这些操作展示了Hive在实际业务中的灵活性和实用性。
- **UDF(User Defined Function)**:用户可以自定义函数扩展Hive的功能,包括标量函数、聚合函数和分区函数。 - **UDAF(User Defined Aggregation Function)**:用于处理一组输入并返回单个值,例如自定义聚合...
- 开发过程包括创建Java工程,添加Hive相关的依赖,编写UDF类,打包成jar文件,然后将jar文件上传到集群,并在Hive中注册这个函数。 6. **Hive调优策略**: - 虽然实验报告中没有详细列出遇到的问题和解决方案,...
Hive提供了丰富的内置函数,包括聚合函数(SUM、COUNT、AVG等)、数学函数、字符串函数、日期函数等,以及用户自定义函数(UDF)能力,满足不同类型的计算需求。 【数据仓库分层和建模】 在数据仓库中,通常会采用...
Hive是基于Hadoop的一个数据仓库工具,用于将结构化...初学者可以从Hive的安装配置和使用开始,逐步深入到Hive体系结构、HiveQL的使用、Hive函数、高级编程以及Hive的优化等方面,以达到深入理解并熟练使用Hive的目标。
6. **存储过程(UDF,UDAF,UDTF)**:Hive支持用户自定义函数(UDF),用户定义聚合函数(UDAF)和用户定义表生成函数(UDTF),允许扩展Hive的功能。 7. **连接Hadoop生态系统**:Hive与Hadoop生态系统的其他组件...
- **将数据插入到Hive表**:可以使用`INSERT INTO TABLE table_name [PARTITION (partition_spec)] SELECT ...`命令将数据从查询结果插入到Hive表中。 - **将查询结果写入文件系统**:通过`INSERT OVERWRITE ...
Hive的UDF(用户定义函数)允许用户通过Java编写自己的函数,并将这些函数集成到Hive查询中。UDF可以包括关系操作符、代数操作符、逻辑操作符等基本操作符,以及数学函数、集合函数、类型转换、日期函数、条件函数和...
Hive UDF(User Defined Function)允许用户定义自己的函数,用于实现复杂的数据处理任务。Hive UDF可以使用Java编写,编译后可以在Hive中使用。 10. Hive使用技巧 Hive使用技巧包括数据分区、数据压缩、查询优化...
包含读取hive,MySQL,文件三种方式的数据交互的udf函数,适用初高及数据研发人员在开发udf函数是作为参考,包括文件写入及读取方式,MySQL,hive等数据库连接可以直接将获取数据转为对象,便于后期开发达到复用目的...
Hive支持用户自定义函数(UDF)、用户定义聚合函数(UDAF)和用户定义表函数(UDTF),这在处理复杂的数据分析需求时非常有用。源代码中包含了这些接口的定义,开发者可以根据需要编写自己的函数并集成到Hive中。 ...
5. **Hive UDF(用户自定义函数)**:Hive允许用户扩展其功能,自定义UDF、UDAF(用户自定义聚合函数)和UDTF(用户自定义转换函数),以处理特定的数据分析需求。 ### 0203 Hive 高级进阶 1. **Hive性能优化**:...
包括 Limit、Top k、正则表达式列指定、Select(GroupBy、Order Sort By)、Join、参数设置、UDF(用户定义函数)等。 4. Hive 的 MapReduce Hive 查询会转化为 MapReduce 作业执行,包括 JOIN、GROUP BY、...
- **可扩展性强**: 可以通过自定义函数(UDF/UDAF/UDTF)来扩展Hive的功能。 - **支持多种数据格式**: 支持多种存储格式,如TextFile、SequenceFile、ORC等。 - **高容错性**: 基于Hadoop的分布式文件系统(HDFS...
29.Sqoop将MySQL数据导入到HDFS(一) 30.Sqoop将MySQL数据导入到HDFS(二) 31.Sqoop中的增量导入与Sqoop job 32.Sqoop将MySQL数据导入Hive表中 33.Sqoop的导出及脚本中使用的方式 34.案例分析-动态分区的实现 35....