Sqoop1:
wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz
tar -xzvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz
mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop-1.4.4
cd sqoop-1.4.4
sudo vi /etc/profile
增加:
export HADOOP_COMMON_HOME=/home/ysc/hadoop-1.2.1
export HADOOP_MAPRED_HOME=/home/ysc/hadoop-1.2.1
export PATH=$PATH:/home/ysc/sqoop-1.4.4/bin
export HBASE_HOME=/home/ysc/hbase-0.94.12
source /etc/profile
sqoop help
将JDBC驱动mysql-connector-java-5.1.18.jar拷贝到/home/ysc/sqoop-1.4.4/lib
sqoop list-databases --connect jdbc:mysql://host001 --username root --password ysc
sqoop list-tables --connect jdbc:mysql://host001/mysql --username root --password ysc
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person -m 1
sqoop import --connect jdbc:mysql://host001/test --username root --password ysc --table person --direct -m 1
sqoop import-all-tables --connect jdbc:mysql://host001/test --username root --password ysc --direct -m 1
sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table person --export-dir person
sqoop export --connect jdbc:mysql://host001/test --username root --password ysc --table animal --export-dir animal
Sqoop2:
wget http://mirror.bit.edu.cn/apache/sqoop/1.99.2/sqoop-1.99.2-bin-hadoop100.tar.gz
tar -xzvf sqoop-1.99.2-bin-hadoop100.tar.gz
mv sqoop-1.99.2-bin-hadoop100 sqoop-1.99.2
cd sqoop-1.99.2
sudo apt-get install zip
bin/addtowar.sh -hadoop-version 1.2.1 -hadoop-path /home/ysc/hadoop-1.2.1
bin/addtowar.sh -jars /home/ysc/mysql-connector-java-5.1.18.jar
vi server/conf/sqoop.properties
修改org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/为
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ysc/hadoop-1.2.1/conf/
启动Sqoop 2 server:
bin/sqoop.sh server start
停止Sqoop 2 server:
bin/sqoop.sh server stop
客户端连接Sqoop 2 server:
客户端直接解压即可运行
MySQL准备数据库和表:
create database test;
create table history (userId int, command varchar(20));
insert into history values(1, 'ls');
insert into history values(1, 'dir');
insert into history values(2, 'cat');
insert into history values(5, 'vi');
交互模式:
bin/sqoop.sh client
sqoop:000> set server --host host001 --port 12000 --webapp sqoop
sqoop:000> show version --all
sqoop:000> show connector --all
sqoop:000>create connection --cid 1
Name: mysql
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String:
jdbc:mysql://host001:3306/test?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true&autoReconnect=true
Username: root
Password: ***
entry#回车
Max connections:100
sqoop:000>create job --xid 1 --type import
Name:ImportHistory
Schema name:
Table name: history
Table SQL statement:
Table column names:
Partition column name:userId
Boundary query:
Choose:0
Choose: 0
Output directory: output-sqoop2-history
Extractors:
Loaders:
sqoop:000> submission start --jid 1
sqoop:000> submission status --jid 1
sqoop:000> submission stop --jid 1
批处理模式:
sqoop.sh client /home/ysc/script.sqoop
vi /home/ysc/script.sqoop
输入:
#指定服务器信息
set server --host host001 --port 12000 --webapp sqoop
#执行JOB
submission start --jid 1
相关推荐
Sqoop 是一个开源工具,主要用于在关系数据库管理...这个压缩包 "sqoop-1.4.7.bin__hadoop-2.6.0.tar" 提供了一个方便的途径,让开发者和数据工程师可以直接使用 Sqoop,而无需从官方源码编译或单独下载每个依赖项。
1. **Sqoop 的作用**:Sqoop 是为了解决 Hadoop 与传统 RDBMS 之间的数据交换问题而设计的。它支持将大量结构化数据导入到 Hadoop 中进行大数据分析,同时也能够将处理后的结果导回 RDBMS。 2. **版本信息**:1.4.2...
Sqoop允许用户从关系数据库导入数据到Hadoop,或者将Hadoop中的数据导出回RDBMS。在`hive-sqoop语句.txt`中,可能列出了各种 Sqoop 命令示例,例如导入数据、导出数据,甚至执行复杂的数据库查询。安装时,需要配置...
Sqoop是一个专门用于在Hadoop和RDBMS间高效迁移数据的工具,支持JDBC连接,简化了大量数据导入导出的过程。 3. **Map-Reduce原理**:Map-Reduce是Hadoop的核心计算模型,由“Map”阶段和“Reduce”阶段组成,用于大...
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的...
Apache Hadoop 中的 Sqoop 是一个专门为大数据处理设计的数据交换工具,它主要负责在Hadoop的分布式文件系统(HDFS)和关系型数据库管理系统(RDBMS)之间进行数据迁移。由于其简单高效的特性,Sqoop 成为了在大数据...
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间高效传输数据的工具。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了...
Sqoop 是 Apache 开源项目中的一款工具,专门用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 的 HDFS 之间进行数据传输。...对于需要在 Hadoop 和 RDBMS 之间进行数据交换的场景,Sqoop 是一个非常实用的工具。
总的来说,"sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip" 提供了一个完整的Sqoop版本,用于在Hadoop和关系型数据库之间高效地转移数据,对于需要在大数据分析中集成RDBMS的企业来说,这是一个非常重要的工具。...
Sqoop是Apache Hadoop生态系统中的一个工具,专为在Hadoop和传统的关系型数据库管理系统(RDBMS)之间传输数据而设计。标题“sqoop 1.4.4”指的是该版本的Sqoop,它是针对Hadoop 2.0.0及以上版本优化的。这个版本的 ...
总之,Sqoop 是大数据生态系统中的重要工具,它简化了传统数据库与 Hadoop 之间的数据交换,增强了大数据处理的效率和便利性。在 Sqoop-1.4.6.bin__hadoop-0.23 这个版本中,用户可以享受到稳定而强大的数据迁移功能...
Sqoop 是一个用于在 Hadoop 和关系型数据库之间进行数据导入导出的工具,它使得在大数据处理场景下,能够方便地将结构化的数据从 MySQL 这样的 RDBMS(关系型数据库管理系统)转移到 Hadoop 的 HDFS(Hadoop 分布式...
Sqoop是Apache Hadoop生态体系中的一个重要工具,主要用于在关系型数据库管理系统(RDBMS)与Hadoop Distributed File System(HDFS)之间高效地导入和导出数据。标题中的"sqoop1.4.7"指的是该版本的Sqoop,它是针对...
1. 数据导入:Sqoop 可以高效地将结构化的数据从传统的 RDBMS 导入到 Hadoop 的 HDFS 中,支持批处理和增量导入,使得大数据分析能够利用到更多的历史数据。 2. 数据导出:同样,Sqoop 也允许用户将 HDFS 或 HBase ...
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS...
Sqoop 是一个用于导入和导出大规模数据的工具,它填补了传统数据库管理系统(RDBMS)与 Hadoop 分布式文件系统(HDFS)之间的空白。通过提供高效、可靠的批量数据传输,Sqoop 允许用户将结构化数据轻松地导入到 ...
Sqoop 作为 Hadoop 生态系统中的一员,极大地简化了大数据环境与传统数据库之间的数据交换,使得数据集成更加灵活,对于企业级的大数据解决方案有着重要的作用。了解并熟练掌握 Sqoop 的使用,有助于提升大数据项目...
总之,Apache Sqoop是大数据环境下实现数据迁移的重要工具,它简化了RDBMS与Hadoop之间的数据交换,提高了数据处理的效率和灵活性。通过熟练掌握Sqoop的使用,可以更好地利用Hadoop进行大数据分析和处理。
Sqoop是一个用于Hadoop和关系数据库间数据传输的工具。它允许用户将数据从RDBMS导入到Hadoop的分布式文件系统中,反之亦然。Sqoop的工作原理是利用MapReduce的并行计算能力,通过JDBC连接器与各种RDBMS进行交互,...