`

hive将查询结果,直接导入到mysql

    博客分类:
  • hive
 
阅读更多
1.加入jar
add jar /setup/hive/lib/mysql-connector-java-5.1.25-bin.jar;
add jar /setup/hive/lib/hive_contrib.jar;
add jar /setup/hive/lib/hive-contrib-0.9.0.jar;
 
2.创建function
CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
 
3.查询并插入到mysql中
//数据库连接,用户名,密码,插入语句sql,参数值,查询sql
select dboutput('jdbc:mysql://localhost/hive_result','root','','INSERT INTO tab_user(id,name) VALUES (?,?)',id,name) from tab_user limit 100;
 
注意,hive_result数据库中,ab_user必须存在,否则插入不成功,但也不报错。。。
 
 
  • 大小: 38.3 KB
  • 大小: 13.8 KB
分享到:
评论

相关推荐

    datax数据从hive导入mysql数据缺失解决

    在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中,遇到了数据缺失的问题。具体表现为,在某些特定条件下(如数据块大小超过 256M 时),导入到 MySQL 的数据量少于预期。 #### 现象分析 根据观察发现,当数据...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS,并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**: Sqoop 导入数据的基本语法如下:...

    sqoop从mysql中导入数据到parquet格式的hive中

    sqoop导入数据到hive

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...

    mysql数据抽取,自动生成hive建表语句

    因此,在从MySQL到Hive的数据迁移过程中,我们需要根据Hive的数据模型来设计Hive表结构。 `AutoCreateTable`这个工具或者脚本的作用就是自动化这个过程。用户只需提供MySQL的表名,该工具就能自动分析MySQL表的结构...

    mysql_hive_jar.zip

    在大数据环境中,有时我们需要将关系型数据库(如MySQL)的数据导入到Hadoop的Hive中进行分析,或者将Hive的结果写回到MySQL供业务系统使用。这就需要进行MySQL与Hive的集成。`mysql_hive_jar`可能包含了一些必要的...

    使用kettle将mysql中的数据导入到hive中

    先说说思路:1是直接从mysql输出至hive中,另外一个是先将数据搞到hdfs中,再load一下,当然这只是textfile存储格式而言,若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表,再insert into table select ...

    hive-3.1.2&mysql-5.7.2安装包.rar

    在 Hive 中,如果要将数据导出到 MySQL 或从 MySQL 导入数据,这个驱动是必需的。版本 5.1.37 是一个稳定版本,提供了与 MySQL 5.7.x 版本的兼容性。 3. **mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar**:这是 MySQL...

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    该命令将启用一个 MapReduce 任务,将 MySQL 数据库中的数据导入到 Hive 表中,并且指定了 Hive 表的分隔符为\t。 Hive 到 MySQL 的数据导入 Sqoop 也可以将 Hive 表中的数据导入到 MySQL 数据库中。例如,以下...

    Hive、MySQL、HBase数据互导

    使用Sqoop将数据从Hive导入MySQL**: - 使用Sqoop连接到Hive并指定要导出的表。 - 设置目标MySQL数据库的连接信息,包括用户名、密码、数据库名和表名。 - 执行Sqoop命令,将Hive表的数据导入到MySQL中。 **3. ...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    6. 导入MySQL连接器:将`mysql-connector-java-5.1.32-bin.jar`复制到Hive的lib目录下,以便Hive可以识别MySQL驱动。 7. 初始化元数据:使用Hive的metastore工具初始化数据库,创建必要的表。 8. 启动Hive:启动...

    datax实战-mysql同步数据到hive

    { job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。 首先,确保在添加Hive数据库前,系统中不存在先前安装的MySQL版本。使用命令rpm -qa |...

    mysql-to-hive.ktr

    从数据库(mysql)中读取数据写入HDFS并建hive表;在该转换中,需要配置2个DB链接(Mysql和HiveServer2),配置Hadoop集群(HDFS),配置子服务器(远程执行服务器)。需要实践的元数据文件:mysql-to-hive.ktr

    hive-mysqlhive-mysql

    5. **数据导入导出**:通过Hive的`INSERT INTO TABLE...SELECT`或`LOAD DATA`命令将Hive中的数据导入MySQL,反之亦然,可以使用`SELECT...INTO TABLE`将MySQL数据加载到Hive。 6. **性能优化**:考虑使用分区、桶等...

    hive-1.1.0-cdh5.14.2.tar.gz和mysql-connector-java-5.1.38.jar连接包

    在实际操作中,用户需要安装和配置Hadoop、CDH环境,然后解压并安装Hive,配置好元数据存储指向MySQL,最后将`mysql-connector-java-5.1.38.jar`添加到Hive的类路径中,这样就能使用Hive与MySQL进行交互,实现高效的...

    hive2.1.1_mysql_sqoop.zip

    然后,你可以使用Sqoop命令行工具,结合Hive的HQL,实现从MySQL数据库到HDFS的数据迁移,或者反过来,将处理过的数据写回到MySQL。这整个过程简化了大数据处理的流程,使得数据的导入导出变得更加高效和便捷。 总结...

    hive元数据mysql初始化导入

    通过mysql> source XXXXX\hive-schema-3.1.0.mysql.sql初始化元数据

    mysql-connector-5.1.39,配合sqoop1.4.7和hive2.1.1使用

    4. **数据分析**:在Hadoop集群上,Hive可以读取由Sqoop导入的MySQL数据进行大规模的分析工作,利用Hadoop的分布式计算能力处理大量数据,然后将结果通过Sqoop返回到MySQL,或者直接在MySQL中进行进一步的处理和展示...

    sqoop 从 hive 导到mysql遇到的问题.docx

    例如,list-databases 命令用于列出 MySQL 数据库中的所有数据库,list-tables 命令用于列出指定数据库中的所有表格,import 命令用于将数据从 MySQL 导入到 Hive,export 命令用于将数据从 Hive 导出到 MySQL。...

Global site tag (gtag.js) - Google Analytics