`
翻滚吧--少年
  • 浏览: 25783 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

利用udf函数将hive统计结果直接插入到mysql

    博客分类:
  • Hive
阅读更多

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。

今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。

步骤为

hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;

Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar

hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;

Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar

hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';

hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;

注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。

通过以上步骤即可将hive统计结果直接导入到mysql数据库中。

 

摘自:http://blog.csdn.net/jiedushi/article/details/8609019

分享到:
评论

相关推荐

    hive自定义UDF编写函数.docx

    Hive 自定义 UDF 编写函数 本文主要讲解了 Hive 中自定义 UDF 函数的编写方法,包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。 一、创建 UDF 类 为了实现...

    Hive_UDF.rar_hive_sqoop

    Sqoop 是一款用于高效导入导出数据的工具,它可以将数据从传统的 RDBMS(如 MySQL、Oracle 等)导入到 HDFS,或者从 HDFS 导出到 RDBMS。在这个压缩包中,可能包含有关如何配置 Sqoop 与 Hive 集成的信息,以便于在...

    hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出

    本教程将深入探讨Hive数仓的架构与设计,Hive SQL的基本语法及高级特性,以及如何自定义函数以满足特定需求,并详细解析Hive的重要参数配置。 1. Hive数仓: - 数据仓库概念:数据仓库是为决策支持系统设计的,...

    hive-mysqlconnector.rar

    Hive还提供了丰富的内置函数,以及用户自定义函数(UDF)的接口,使得用户可以扩展其功能。此外,Hive通过Hive Metastore服务来管理和存储元数据,包括表的定义、分区信息等,这些元数据通常会存储在关系型数据库中...

    15-Hive统计1

    【知识点详解】 ...在这个案例中,我们了解了如何利用Hive进行各种统计分析,包括设备类型分析、评论周期计算、会员级别统计以及自定义函数的应用。这些操作展示了Hive在实际业务中的灵活性和实用性。

    Hive-工具篇_hive_

    - **UDF(User Defined Function)**:用户可以自定义函数扩展Hive的功能,包括标量函数、聚合函数和分区函数。 - **UDAF(User Defined Aggregation Function)**:用于处理一组输入并返回单个值,例如自定义聚合...

    hive实验报告.docx

    - 开发过程包括创建Java工程,添加Hive相关的依赖,编写UDF类,打包成jar文件,然后将jar文件上传到集群,并在Hive中注册这个函数。 6. **Hive调优策略**: - 虽然实验报告中没有详细列出遇到的问题和解决方案,...

    Hive总结.docx

    Hive提供了丰富的内置函数,包括聚合函数(SUM、COUNT、AVG等)、数学函数、字符串函数、日期函数等,以及用户自定义函数(UDF)能力,满足不同类型的计算需求。 【数据仓库分层和建模】 在数据仓库中,通常会采用...

    深入浅出学习HIVE.pdf

    Hive是基于Hadoop的一个数据仓库工具,用于将结构化...初学者可以从Hive的安装配置和使用开始,逐步深入到Hive体系结构、HiveQL的使用、Hive函数、高级编程以及Hive的优化等方面,以达到深入理解并熟练使用Hive的目标。

    apache-hive-2.3.9-bin.tar大数据HIVE.zip

    6. **存储过程(UDF,UDAF,UDTF)**:Hive支持用户自定义函数(UDF),用户定义聚合函数(UDAF)和用户定义表生成函数(UDTF),允许扩展Hive的功能。 7. **连接Hadoop生态系统**:Hive与Hadoop生态系统的其他组件...

    Hive用户指南 Hive user guide 中文版

    - **将数据插入到Hive表**:可以使用`INSERT INTO TABLE table_name [PARTITION (partition_spec)] SELECT ...`命令将数据从查询结果插入到Hive表中。 - **将查询结果写入文件系统**:通过`INSERT OVERWRITE ...

    Hive用户手册中文版.pdf

    Hive的UDF(用户定义函数)允许用户通过Java编写自己的函数,并将这些函数集成到Hive查询中。UDF可以包括关系操作符、代数操作符、逻辑操作符等基本操作符,以及数学函数、集合函数、类型转换、日期函数、条件函数和...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    Hive UDF(User Defined Function)允许用户定义自己的函数,用于实现复杂的数据处理任务。Hive UDF可以使用Java编写,编译后可以在Hive中使用。 10. Hive使用技巧 Hive使用技巧包括数据分区、数据压缩、查询优化...

    实际开发应用实例,包含读取hive,MySQL,文件三种方式的数据交互

    包含读取hive,MySQL,文件三种方式的数据交互的udf函数,适用初高及数据研发人员在开发udf函数是作为参考,包括文件写入及读取方式,MySQL,hive等数据库连接可以直接将获取数据转为对象,便于后期开发达到复用目的...

    hive1.2.2源代码

    Hive支持用户自定义函数(UDF)、用户定义聚合函数(UDAF)和用户定义表函数(UDTF),这在处理复杂的数据分析需求时非常有用。源代码中包含了这些接口的定义,开发者可以根据需要编写自己的函数并集成到Hive中。 ...

    大数据系列-Hive

    5. **Hive UDF(用户自定义函数)**:Hive允许用户扩展其功能,自定义UDF、UDAF(用户自定义聚合函数)和UDTF(用户自定义转换函数),以处理特定的数据分析需求。 ### 0203 Hive 高级进阶 1. **Hive性能优化**:...

    hive的学习资料

    包括 Limit、Top k、正则表达式列指定、Select(GroupBy、Order Sort By)、Join、参数设置、UDF(用户定义函数)等。 4. Hive 的 MapReduce Hive 查询会转化为 MapReduce 作业执行,包括 JOIN、GROUP BY、...

    Hive教程.pdf

    - **可扩展性强**: 可以通过自定义函数(UDF/UDAF/UDTF)来扩展Hive的功能。 - **支持多种数据格式**: 支持多种存储格式,如TextFile、SequenceFile、ORC等。 - **高容错性**: 基于Hadoop的分布式文件系统(HDFS...

    【63课时完整版】大数据实践HIVE详解及实战

    29.Sqoop将MySQL数据导入到HDFS(一) 30.Sqoop将MySQL数据导入到HDFS(二) 31.Sqoop中的增量导入与Sqoop job 32.Sqoop将MySQL数据导入Hive表中 33.Sqoop的导出及脚本中使用的方式 34.案例分析-动态分区的实现 35....

Global site tag (gtag.js) - Google Analytics