`

Sqoop2: import and export data By Hue

 
阅读更多
Import data from mysql to hdfs
----------------------------------------


 
 
Export data from hdfs to mysql
--------------------------------------

 

 

 


 

 

 

----------------------------------------------------

The difference between sqoop1 and sqoop2

Feature Sqoop Sqoop2
Connectors for all major RDBMS Supported.

Not supported.

Workaround: Use the generic JDBC Connector which has been tested on the following databases: Microsoft SQL Server, PostgreSQL, MySQL and Oracle.

This connector should work on any other JDBC compliant database. However, performance might not be comparable to that of specialized connectors in Sqoop.

Kerberos Security Integration Supported.

Not supported.

Encryption of Stored Passwords Not supported. No workaround. Supported using Derby's on-disk encryption.

Disclaimer: Although expected to work in the current version of Sqoop2, this configuration has not been verified.

Data transfer from RDBMS to Hive or HBase Supported.

Not supported.

Workaround: Follow this two-step approach.
  1. Import data from RDBMS into HDFS (either as a text or sequence file)
  2. Export to Hive or HBase using Sqoop2
Data transfer from Hive or HBase to RDBMS Not supported.
Workaround: Follow this two-step approach.
  1. Import data from Hive or HBase into HDFS (either as a text or sequence file)
  2. Export to RDBMS using Sqoop2

Not supported.

Follow the same workaround as for Sqoop.

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_sqoop_vs_sqoop2.html

  • 大小: 63.8 KB
分享到:
评论

相关推荐

    sqoop1: import to hive partitioned table

    NULL 博文链接:https://ylzhj02.iteye.com/blog/2051729

    sqoop-1.4.7.zip

    Sqoop是Apache Hadoop生态中的一个工具,用于在关系型数据库和Hadoop之间高效地导入导出数据。在这个场景中,我们遇到了一个关于Sqoop运行时的问题,即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常...

    hue平台oozie工作流操作sqoop,把mysql.pdf

    本文主要讲述在Hue平台使用Oozie工作流操作Sqoop工具将MySQL数据库的数据传输到HDFS中,并最终导入到Hive表中的经验。以下是详细知识点: 1. Hue平台和Oozie工作流简介: Hue是一种开源的用户界面,用于简化与...

    sqoop学习文档(2){Sqoop import、Sqoop export}.docx

    本文档主要介绍了 Sqoop 的 `import` 和 `export` 功能。 一、Sqoop Import 导入数据 1. **全量导入** 当你需要将整个 RDBMS 表导入 HDFS 时,可以使用 `--connect`、`--username`、`--password`、`--table` 和 `...

    Data Analytics with Hadoop: An Introduction for Data Scientists

    Use Sqoop and Apache Flume to ingest data from relational databases Program complex Hadoop and Spark applications with Apache Pig and Spark DataFrames Perform machine learning techniques such as ...

    sqoop-1.4.6.2.3.99.0-195.jar..zip

    编译Atlas用 sqoop-1.4.6.2.3.99.0-195.jar 内含安装jar包以及maven手动安装命令 详情可参考我的博客: https://blog.csdn.net/qq_26502245/article/details/108008070

    Atlas2.3.0依赖: org.restlet/sqoop-1.4.6.2.3.99.0-195

    在IT行业中,我们经常涉及到各种库和框架的集成与使用,这次我们关注的是"Atlas2.3.0"依赖的组件:"org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件:`sqoop-1.4.6.2.3.99.0-195.jar`,`...

    sqoop2的安装包

    Sqoop2是一款用于在Hadoop和关系数据库管理系统(RDBMS)之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本,旨在提供更高级的功能和更好的可扩展性,以支持大数据环境中的复杂数据导入导出任务。在这个...

    sqoop2安装文档

    export SQOOP_HOME=/usr/sqoop2 export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra export PATH=$PATH:$SQOOP_HOME/bin export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native export HADOOP_COMMON_HOME=$HADOOP_...

    load_data_incr_sqoop (2).zip

    【标题】"load_data_incr_sqoop (2).zip" 提供的是一个使用Sqoop进行增量数据加载的示例。Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系数据库与Hadoop之间高效地传输数据。这个压缩包可能包含了执行增量...

    sqoop连接db2的驱动包

    4. **测试连接**:在完成上述步骤后,你可以使用Sqoop的`import`或`export`命令测试与DB2的连接,例如: ``` sqoop list-tables --connect 'jdbc:db2://hostname:port/database' --username user --password ...

    sqoop-1.4.7(可直接下载学习使用)附有安装配置教程!

    内容概要:Sqoop 1.4.7 安装包主要包括以下内容:Sqoop 命令行工具:用于执行数据迁移任务的客户端工具。连接器:Sqoop 支持多种数据库连接器,包括 MySQL、PostgreSQL、Oracle 等,用于连接目标数据库。元数据驱动...

    sqoop-1.4.5-cdh5.4.2.tar.gz

    Sqoop是Apache Hadoop生态中的一个工具,专用于在关系型数据库(如MySQL、Oracle等)与Hadoop之间高效地导入导出数据。在标题"sqoop-1.4.5-cdh5.4.2.tar.gz"中,我们可以看出这是Sqoop的一个特定版本——1.4.5,针对...

    sqoop-1.4.7.jar

    sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.7 </dependency>

    sqoop2 java API从oracle导数据到HDFS开发总结

    ### sqoop2 Java API从Oracle导数据到HDFS开发总结 #### 整体说明与准备工作 本文档旨在帮助读者理解如何使用sqoop2的Java API将数据从Oracle数据库迁移至HDFS(Hadoop Distributed File System),同时分享了作者...

    sqoop-1.4.6-cdh5.13.2.tar

    2、配置sqoop的环境配置文件: mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh ...

    Sqoop通过Phoenix导hbase数据到hive

    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop...

    Hadoop-Sqoop配置

    2. 配置环境变量:在环境变量配置文件中添加 Sqoop 的安装目录,以便 Sqoop 可以正确地找到依赖项。 3. 配置 JDBC 驱动包:将相应的 JDBC 驱动包文件拷贝到 Sqoop 的 lib 目录下,以便 Sqoop 可以连接到相应的数据源...

    java连接sqoop源码-quick-sqoop:ApacheSqoopETL工具的快速参考

    sqoop2 因为它不是正式的 GA 并且可能永远不会 $ wget http://apache.arvixe.com/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz $ sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz /srv/ $ cd /srv ...

    sqoop jdbc驱动包

    sqoop 导入数据时候报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver 缺少驱动包。

Global site tag (gtag.js) - Google Analytics