`
zhanghh321
  • 浏览: 2766 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Sqoop--关系型数据库跟hdfs数据传输工具

阅读更多

1.什么是Sqoop

 

Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,Sqoop1和Sqoop2。 

Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive、hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入。

那么为什么选择Sqoop呢? 

高效可控的利用资源,任务并行度,超时时间。 数据类型映射与转化,可自动进行,用户也可自定义 支持多种主流数据库,MySQL,Oracle,SQL Server,DB2等等 

2.Sqoop1和Sqoop2对比的异同之处

两个不同的版本,完全不兼容 版本号划分区别,Apache版本:1.4.x(Sqoop1); 1.99.x(Sqoop2)     CDH版本 : Sqoop-1.4.3-cdh4(Sqoop1) ; Sqoop2-1.99.2-cdh4.5.0 (Sqoop2)Sqoop2比Sqoop1的改进 引入Sqoop server,集中化管理connector等 多种访问方式:CLI,Web UI,REST API 引入基于角色的安全机制 

3.Sqoop1与Sqoop2的架构图

Sqoop架构图1

\"></p>
<p style=$ sqoop help 可以查询所有支持的操作

分享到:
评论

相关推荐

    Sqoop-sqlserver-hdfs.rar

    Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系型数据库(如SQL Server)与Hadoop Distributed File System(HDFS)之间传输数据。在这个"Sqoop-sqlserver-hdfs.rar"压缩包中,我们有两个关键文件:sqljdbc....

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip

    1. **数据导入**:Sqoop 提供了命令行接口,可以将结构化数据从传统的关系型数据库迁移到Hadoop的HDFS(Hadoop Distributed File System)中,支持批量导入,提高数据传输效率。 2. **数据导出**:同样,Sqoop也允许...

    sqoop-1.4.7.bin__hadoop-2.6.0.tar

    在 Hadoop 生态系统中,Sqoop 提供了一种高效、可扩展的方式,用于将大量结构化数据导入到 Hadoop 分布式文件系统(HDFS)中,或者将数据导出回传统的关系型数据库。这使得 Hadoop 能够处理来自企业级数据库的数据,...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip

    Sqoop 是一个开源工具,主要用于在关系型数据库(如 MySQL、Oracle 等)与 Hadoop 的 HDFS(Hadoop Distributed File System)之间进行数据迁移。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip" 包含了 ...

    sqoop-1.4.6-cdh5.5.0.tar.gz

    Sqoop 是 Apache Hadoop 生态系统中的一个重要组件,它主要用于在关系型数据库(如 MySQL、Oracle 等)与 Hadoop 分布式文件系统(HDFS)之间进行数据迁移。 Sqoop 的设计目标是提供高效率、大规模的数据导入和导出...

    sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包,直接下载到本地,解压后即可使用

    Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,...

    sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar

    Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供...

    sqoop-1.4.5.tar.zip

    版本Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。...

    sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar

    Sqoop是一款开源的数据迁移工具,它主要用于在关系型数据库(如MySQL、Oracle等)和Hadoop之间进行数据的导入导出。在大数据处理中,Sqoop扮演着至关重要的角色,它提供了高效、灵活且方便的数据传输方式。本文将...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间高效传输数据的工具。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了...

    sqoop-sqlserver-1.0.tar.gz

    Apache Sqoop 是一个工具,主要用于在关系型数据库(如 SQL Server)和 Apache Hadoop 之间进行数据迁移。这个名为 "sqoop-sqlserver-1.0.tar.gz" 的压缩包文件,显然包含了针对 SQL Server 的特定连接器,使得 ...

    sqoop-1.4.6-cdh5.12.0.tar.gz

    1. 数据提取: Sqoop 提供了命令行接口,允许用户从传统的关系型数据库管理系统(如 MySQL、Oracle、PostgreSQL 等)中抽取数据。它支持多种 JDBC 驱动,因此可以轻松连接到各种 RDBMS。 2. 数据转换:在导入数据到...

    sqoop-1.4.6-hadoop-2.6最小资源包

    Sqoop 是一个在 Hadoop 生态系统中用于数据导入导出的工具,它允许用户将关系型数据库(如 MySQL、Oracle 等)中的数据高效地导入到 Hadoop 的 HDFS 中,或者从 HDFS 导回到关系型数据库。这个"sqoop-1.4.6-hadoop-...

    sqoop-1.2.0-CDH3B4.tar.gz下载

    Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系型数据库(如MySQL、Oracle等)与Hadoop的HDFS之间进行数据迁移。Sqoop-1.2.0-CDH3B4是Cloudera Distribution Including Apache Hadoop(CDH)的一个版本,CDH...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    Apache Sqoop 是一个用于在关系型数据库(如 MySQL 和 Sybase)与 Hadoop 分布式文件系统(HDFS)之间高效传输数据的工具。在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统...

    sqoop-1.4.6.tar.gz

    Sqoop 是一个开源工具,主要用于在关系型数据库(如 MySQL、Oracle 等)与 Hadoop 之间进行数据导入导出。在这个特定的压缩包文件 "sqoop-1.4.6.tar.gz" 中,我们可以预见到 Sqoop 的 1.4.6 版本的完整源代码和相关...

    sqoop-1.4.6-cdh5.9.3

    Sqoop 是一个在大数据生态系统中广泛使用的工具,主要用于在关系型数据库(如 MySQL、Oracle、SQL Server 等)和 Apache Hadoop 之间高效地导入和导出数据。标题 "sqoop-1.4.6-cdh5.9.3" 指的是 Sqoop 的一个特定...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha

    Sqoop 是一个开源工具,主要用于在关系型数据库(如MySQL、Oracle等)和Apache Hadoop之间进行数据迁移。它的全称是"SQL to Hadoop",由Cloudera公司开发,首次发布于2009年,现在已经成为了Hadoop生态系统中的重要...

    sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

    Sqoop 是一个开源工具,主要用于在关系型数据库(如 MySQL、Oracle 等)与 Apache Hadoop 之间进行数据迁移。这个压缩包 "sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz" 包含了 Sqoop 的 1.4.6 版本,该版本是针对 Apache ...

    sqoop-1.4.6-cdh5.14.2.tar系列安装包

    Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包“sqoop-1.4.6-cdh5.14.2.tar”是 Sqoop 的一个特定...

Global site tag (gtag.js) - Google Analytics