`

sqoop 三库导入导出写法

 
阅读更多

 

 

0 如下所有命令 在命令行应该写成一行  这里是为了读取方便而故意折行写出来

 

1 sqoop <--------->  mysql

 

mysql ---> hdfs

sqoop import --connect jdbc:mysql://172.16.252.227:3306/test --username root --password root --table testzm --columns 'id,name'	
             --target-dir /user/root/example/output-dir/testmysql -m 1
             --fields-terminated-by "\t" --null-string "**" --null-non-string "##";





hdfs ---> mysql

sqoop export --connect jdbc:mysql://172.16.252.227:3306/test --username root --password root --table testzmexport	
             --export-dir /user/root/example/output-dir/testmysql/part-m-00000 -m 1
             --fields-terminated-by "\t" ;
			 

 

 

2 sqoop <--------->  oracle

 

   oracle库为ORCL 表为 USERINFO 

oracle ---> hdfs

sqoop import --connect jdbc:oracle:thin:@172.16.252.227:1521:orcl --username test_user --password oracle --table USERINFO 	
             --target-dir /user/root/example/output-dir/sqoop-from-oracl -m 1
             --fields-terminated-by "\t" --null-string "**" --null-non-string "##";


oracle ---> hive

sqoop import --connect jdbc:oracle:thin:@172.16.252.227:1521:orcl --username test_user --password oracle --table USERINFO 	
             --hive-import -m 1;   此时hive不需要创建表名和字段,会默认使用关系型数据库表名,和关系型数据库的字段。
             


hdfs ---> oracl

sqoop export --connect jdbc:oracle:thin:@172.16.252.227:1521:orcl --username test_user --password oracle --table test_user_export	
             --export-dir /user/root/example/output-dir/testmysql/part-m-00000 -m 1
             --fields-terminated-by "\t" ;

 

 

 

sqoop <--------->  sqlserver

 

 

  

1 sqlserver

sqlserver ---> hdfs

sqoop import --connect 'jdbc:sqlserver://172.16.252.227:database=model;username=sa;password=123456' --query 'select * from userinfo where $CONDITIONS'	
             --target-dir /user/root/example/output-dir/sqoop-from-sqlserver -m 1
             --fields-terminated-by "\t" --null-string "**" --null-non-string "##";

 

 

分享到:
评论

相关推荐

    Sqoop的安装和配置,Sqoop的数据导入导出,MySQL对hdfs数据的操作

    Sqoop的安装和配置,Sqoop的数据导入导出,MySQL对hdfs数据的操作

    Sqoop数据库数据导入导出教程PDF

    把关系型数据库的数据导入到Hadoop系统(如HDFS,Hbase和Hive中) 把数据从Hadoop系统里面抽取并导出到关系型数据库中 利用MapReduce加快数据处理速度 ·批处理方式进行数据传输 Sqoop 优势 ·¬高效、可控地利用资源 ...

    23-Sqoop数据导入导出1

    【Sqoop数据导入导出详解】 Sqoop是一个用于在关系型数据库和Hadoop之间传输数据的工具,它利用Hadoop的MapReduce框架实现大规模数据的高效导入和导出。本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、...

    大数据实践-sqoop数据导入导出.doc

    【大数据实践-Sqoop数据导入导出】 Sqoop是一个用于在关系型数据库和Hadoop之间进行数据迁移的工具。在大数据处理中,Sqoop扮演着关键角色,它使得传统数据库中的数据可以方便地导入到Hadoop的HDFS(Hadoop ...

    SQOOP导入和导出参数.pdf

    ### SQOOP 导入与导出参数详解 #### 一、概述 SQOOP(SQL to Hadoop)是一款开源工具,主要用于在Hadoop和关系型数据库之间进行数据的迁移。它通过JDBC连接到关系型数据库,并利用MapReduce作业进行高效的大规模...

    sqoop的数据导入

    它的主要功能是将结构化数据从传统数据库导入到 Hadoop 的 HDFS(Hadoop Distributed File System),或者从 HDFS 导出回数据库。在大数据处理场景中,Sqoop 起到了连接传统数据存储和分布式计算框架的桥梁作用。 ...

    sqoop导入数据到hive中,数据不一致

    Sqoop是一个用于在关系数据库和Hadoop之间传输数据的工具,它可以高效地批量导入和导出数据。而Hive则是基于Hadoop的数据仓库系统,提供了SQL-like查询语言(HQL)来操作存储在HDFS上的大量数据。当使用Sqoop将数据...

    sqoop从mysql中导入数据到parquet格式的hive中

    sqoop导入数据到hive

    实战Sqoop数据导入及大数据用户行为案例分析

    实战Sqoop数据导入及大数据用户行为案例分析(全套视频+代码+工具+课件讲义) 内容包括: 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将...

    星环大数据平台_Sqoop数据导入.pdf

    Sqoop利用MapReduce的分布式并行处理机制来实现数据的高效导入导出。在星环大数据平台中使用Sqoop,可以实现对数据的批量迁移,这对于构建大数据生态系统中的数据仓库是十分重要的。 本培训文档主要介绍如何在星环...

    SearchEngine-sqoop数据导入

    sqoop数据导入 sqoop数据导入 sqoop数据导入 sqoop数据导入 sqoop数据导入

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件,如 Hive。 在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL ...

    hadoop_install-sqoop数据导入

    sqoop数据导入 sqoop数据导入 sqoop数据导入 sqoop数据导入 sqoop数据导入

    sqoop需要导入的包

    它使得在 Hadoop 集群与 MySQL 这样的 RDBMS(关系型数据库管理系统)之间导入导出数据变得方便快捷。在这个场景中,我们关注的两个关键包是 `mysql-connector-java-5.1.45.jar` 和 `json-to-sqoop.jar`。 首先,`...

    解决sqoop2导入hdfs单引号问题

    使用sqoop2从mysql导入hadoop时,导入的数据带单引号。是由于sqoop2的一个bug导致,该包上传到sqoop_home/server/lib替换原来的jar包后,重启sqoop server,即可解决。

    hadoop平台下的数据导入导出工具sqoop

    通过上述内容的学习,我们可以了解到Sqoop在Hadoop平台下作为一款强大的数据迁移工具,不仅可以高效地完成数据的导入导出工作,还能支持各种复杂的业务场景需求。无论是对于初学者还是高级用户来说,掌握Sqoop的使用...

    同步自动生成sqoop导入语句

    自动生成oracle或者mysql导入导出的sqoop语句的plsql块

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    Sqoop 用法之 MySQL 与 Hive 导入导出 Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也...

    Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出

    使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS(VMware) 后端-Java (JDK 1.8), Sqoop(v1.4.7) , Hadoop(v3.3.0) 库-OJDBC(v7),commons-lang-2.6.jar ...

Global site tag (gtag.js) - Google Analytics