`
wbj0110
  • 浏览: 1598951 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Sqoop – HADOOP和RDBMS数据交换

阅读更多

Sqoop1

wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

tar -xzvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop-1.4.4

cd sqoop-1.4.4

sudo vi /etc/profile

增加:

export HADOOP_COMMON_HOME=/home/ysc/hadoop-1.2.1

export HADOOP_MAPRED_HOME=/home/ysc/hadoop-1.2.1

export PATH=$PATH:/home/ysc/sqoop-1.4.4/bin

export HBASE_HOME=/home/ysc/hbase-0.94.12

source /etc/profile

sqoop help

JDBC驱动mysql-connector-java-5.1.18.jar拷贝到/home/ysc/sqoop-1.4.4/lib

sqoop list-databases --connect jdbc:mysql://host001 --username root --password ysc

sqoop list-tables --connect jdbc:mysql://host001/mysql --username root --password ysc

sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person

sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person -m 1

sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person --direct -m 1

sqoop import-all-tables --connect jdbc:mysql://host001/test --username root --password ysc  --direct -m 1

sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table person --export-dir person

sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table animal --export-dir animal

Sqoop2

wget http://mirror.bit.edu.cn/apache/sqoop/1.99.2/sqoop-1.99.2-bin-hadoop100.tar.gz

tar -xzvf sqoop-1.99.2-bin-hadoop100.tar.gz

mv sqoop-1.99.2-bin-hadoop100 sqoop-1.99.2

cd sqoop-1.99.2

sudo apt-get install zip

bin/addtowar.sh -hadoop-version 1.2.1 -hadoop-path /home/ysc/hadoop-1.2.1

bin/addtowar.sh -jars /home/ysc/mysql-connector-java-5.1.18.jar

vi server/conf/sqoop.properties

修改org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ysc/hadoop-1.2.1/conf/

启动Sqoop 2 server

bin/sqoop.sh server start

http://host001:12000/sqoop/

停止Sqoop 2 server

bin/sqoop.sh server stop

客户端连接Sqoop 2 server

客户端直接解压即可运行

MySQL准备数据库和表:

create database test;

create table history (userId int, command varchar(20));

insert into history values(1, 'ls');

insert into history values(1, 'dir');

insert into history values(2, 'cat');

insert into history values(5, 'vi');

交互模式:

bin/sqoop.sh client

sqoop:000> set server --host host001 --port 12000 --webapp sqoop

sqoop:000> show version --all

sqoop:000> show connector --all

sqoop:000>create connection --cid 1

Name: mysql

JDBC Driver Class: com.mysql.jdbc.Driver

JDBC Connection String:

jdbc:mysql://host001:3306/test?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true&autoReconnect=true

Username: root

Password: ***

entry#回车

Max connections:100

sqoop:000>create job --xid 1 --type import

Name:ImportHistory

Schema name:

Table name: history

Table SQL statement:

Table column names:

Partition column name:userId

Boundary query:

Choose:0

Choose: 0

Output directory: output-sqoop2-history

Extractors:

Loaders:

sqoop:000> submission start --jid 1

sqoop:000> submission status --jid 1

sqoop:000> submission stop --jid 1

批处理模式:

sqoop.sh client /home/ysc/script.sqoop

vi /home/ysc/script.sqoop

输入:

     #指定服务器信息

     set server --host host001 --port 12000 --webapp sqoop

     #执行JOB

     submission start --jid 1

分享到:
评论

相关推荐

    sqoop-1.4.7.bin__hadoop-2.6.0.tar

    Sqoop 是一个开源工具,主要用于在关系数据库管理...这个压缩包 "sqoop-1.4.7.bin__hadoop-2.6.0.tar" 提供了一个方便的途径,让开发者和数据工程师可以直接使用 Sqoop,而无需从官方源码编译或单独下载每个依赖项。

    sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar

    1. **Sqoop 的作用**:Sqoop 是为了解决 Hadoop 与传统 RDBMS 之间的数据交换问题而设计的。它支持将大量结构化数据导入到 Hadoop 中进行大数据分析,同时也能够将处理后的结果导回 RDBMS。 2. **版本信息**:1.4.2...

    大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置

    Sqoop允许用户从关系数据库导入数据到Hadoop,或者将Hadoop中的数据导出回RDBMS。在`hive-sqoop语句.txt`中,可能列出了各种 Sqoop 命令示例,例如导入数据、导出数据,甚至执行复杂的数据库查询。安装时,需要配置...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 10 数据交换 共44页.pptx

    Sqoop是一个专门用于在Hadoop和RDBMS间高效迁移数据的工具,支持JDBC连接,简化了大量数据导入导出的过程。 3. **Map-Reduce原理**:Map-Reduce是Hadoop的核心计算模型,由“Map”阶段和“Reduce”阶段组成,用于大...

    sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包,直接下载到本地,解压后即可使用

    Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的...

    Apache Hadoop---Sqoop.docx

    Apache Hadoop 中的 Sqoop 是一个专门为大数据处理设计的数据交换工具,它主要负责在Hadoop的分布式文件系统(HDFS)和关系型数据库管理系统(RDBMS)之间进行数据迁移。由于其简单高效的特性,Sqoop 成为了在大数据...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间高效传输数据的工具。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了...

    sqoop 使用手册

    Sqoop 是 Apache 开源项目中的一款工具,专门用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 的 HDFS 之间进行数据传输。...对于需要在 Hadoop 和 RDBMS 之间进行数据交换的场景,Sqoop 是一个非常实用的工具。

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip

    总的来说,"sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip" 提供了一个完整的Sqoop版本,用于在Hadoop和关系型数据库之间高效地转移数据,对于需要在大数据分析中集成RDBMS的企业来说,这是一个非常重要的工具。...

    sqoop 1.4.4

    Sqoop是Apache Hadoop生态系统中的一个工具,专为在Hadoop和传统的关系型数据库管理系统(RDBMS)之间传输数据而设计。标题“sqoop 1.4.4”指的是该版本的Sqoop,它是针对Hadoop 2.0.0及以上版本优化的。这个版本的 ...

    sqoop-1.4.6.bin__hadoop-0.23.tar.gz

    总之,Sqoop 是大数据生态系统中的重要工具,它简化了传统数据库与 Hadoop 之间的数据交换,增强了大数据处理的效率和便利性。在 Sqoop-1.4.6.bin__hadoop-0.23 这个版本中,用户可以享受到稳定而强大的数据迁移功能...

    使用sqoop抽取mysql数据

    Sqoop 是一个用于在 Hadoop 和关系型数据库之间进行数据导入导出的工具,它使得在大数据处理场景下,能够方便地将结构化的数据从 MySQL 这样的 RDBMS(关系型数据库管理系统)转移到 Hadoop 的 HDFS(Hadoop 分布式...

    sqoop1.4.7

    Sqoop是Apache Hadoop生态体系中的一个重要工具,主要用于在关系型数据库管理系统(RDBMS)与Hadoop Distributed File System(HDFS)之间高效地导入和导出数据。标题中的"sqoop1.4.7"指的是该版本的Sqoop,它是针对...

    sqoop-1.4.6-cdh5.14.0

    1. 数据导入:Sqoop 可以高效地将结构化的数据从传统的 RDBMS 导入到 Hadoop 的 HDFS 中,支持批处理和增量导入,使得大数据分析能够利用到更多的历史数据。 2. 数据导出:同样,Sqoop 也允许用户将 HDFS 或 HBase ...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha安装包

    Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS...

    sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz

    Sqoop 是一个用于导入和导出大规模数据的工具,它填补了传统数据库管理系统(RDBMS)与 Hadoop 分布式文件系统(HDFS)之间的空白。通过提供高效、可靠的批量数据传输,Sqoop 允许用户将结构化数据轻松地导入到 ...

    Hadoop深入浅出之Sqoop介绍.pptx

    Sqoop 作为 Hadoop 生态系统中的一员,极大地简化了大数据环境与传统数据库之间的数据交换,使得数据集成更加灵活,对于企业级的大数据解决方案有着重要的作用。了解并熟练掌握 Sqoop 的使用,有助于提升大数据项目...

    Apache的sqoop项目

    总之,Apache Sqoop是大数据环境下实现数据迁移的重要工具,它简化了RDBMS与Hadoop之间的数据交换,提高了数据处理的效率和灵活性。通过熟练掌握Sqoop的使用,可以更好地利用Hadoop进行大数据分析和处理。

    大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移_lk_edit.pptx

    Sqoop是一个用于Hadoop和关系数据库间数据传输的工具。它允许用户将数据从RDBMS导入到Hadoop的分布式文件系统中,反之亦然。Sqoop的工作原理是利用MapReduce的并行计算能力,通过JDBC连接器与各种RDBMS进行交互,...

Global site tag (gtag.js) - Google Analytics