1.安装:
1.1:下载: http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.2:解压:tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.3:重命名:mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop1.4.4
2.配置环境变量
2.1:
#sqoop1.4.4
export SQOOP_HOME=/opt/program/sqoop1.4.4
export PATH=$SQOOP_HOME/bin:$PATH
2.2.添加MySQL-connect-java.*.jar包[
把MySQL连接包放到sqoop的lib下
3 修改SQOOP的文件sqoop1.44/bin/configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件)
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
还有其他HBASE和ZOOKEEPER的部分也需要注释掉。
.在使用sqoop之前需要首先启动hadoop
4.常用的sqoop命令:
4.1列出mysql数据库中的所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -- password 123456
4.2连接mysql并列出数据库中的表
sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
4.3将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table sqoop_test --username root --password 123456 --hive-table test
其中 --table sqoop_test为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4.4从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/zxtest --username root --password 123456 --table sqoop_test --hive-import --hive-table s_test -m 1 --fields-terminated-by ",";
4.5将hive中的表数据导入到mysql中,在进行导入之前,mysql中的表hive_test必须已经提起创建好了。
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username cxqmysql --password cxq123 --table t1 --hive-import --hive-table t1 -m 1
4.6从数据库导出表的数据到HDFS上文件
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username root --password 123456 --table hive_test -m 1
分享到:
相关推荐
#### 二、Sqoop安装步骤 1. **下载压缩包**: - 访问[Apache官方镜像站点](https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/),下载`sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz`。 2. **解压并配置...
Sqoop 安装与使用 Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具,充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁,支持...
**一、Sqoop安装** 1. 首先,你需要访问 `/install-package` 目录,确认sqoop的安装包已经在那里。使用命令 `cd /install-package` 和 `ls` 检查。 2. 接下来,解压缩sqoop的安装包到 `/apps` 目录下。运行 `tar -...
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...
在本实验中,我们将详细介绍 Sqoop 的安装过程,包括嵌入式安装方法,适用于 Ubuntu 16.04 操作系统的环境。 **实验目标** Sqoop 的安装目的是为了熟悉和掌握 Sqoop 工具的安装步骤,以便在未来的工作中能够高效地...
Sqoop 安装与配置 Sqoop 是一款开源的数据传输工具,由 Cloudera 公司开发,用于在 Hadoop 和结构化数据存储之间传输数据。Sqoop 提供了一个命令行接口,允许用户使用 SQL 语句来从关系数据库中导出数据,并将其...
包括数据导入,导出,[www.javaxxz.com]1.02_02_01_17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import)
本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop,这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...
内容概要:本文档提供了详细的 Sqoop 安装指南以及在 Ubuntu 上运行 Sqoop 实验的具体步骤,涵盖从环境搭建、 Sqoop 基础配置、 MySQL 连接器获取到常见数据迁移操作。文中介绍了通过 Sqoop 在 MySQL 和 HDFS 之间、...
安装 Sqoop 需要先确保已安装 Java 和 Hadoop。在系统环境变量中设置 `HADOOP_HOME`,并添加 Sqoop 的安装路径到 `PATH` 变量。例如: ``` export SQOOP_HOME=/home/hadoop/sqoop-1.2.0 export SQOOP_CONF_DIR=/...
在这个“sqoop安装工具”压缩包中,包含了 Sqoop 的安装包以及 MySQL 的驱动包,这为用户一次性解决安装需求提供了便利。 首先,我们需要理解Sqoop的基本工作原理。Sqoop是通过MapReduce任务来执行数据迁移的,它...
在本教程中,我们将详细探讨 Sqoop 的安装过程及其基本使用方法。 ### Sqoop 的安装 1. **环境准备**:确保你已经安装了 Java 运行环境(JRE)和 Java 开发工具(JDK),因为 Sqoop 需要它们。检查 Java 版本: `...
3. 解压后,进入Sqoop的安装目录,执行一系列的目录结构查看和文件查看命令,了解Sqoop的安装目录结构和关键文件。 4. 接下来需要拷贝MySQL JDBC连接驱动到Sqoop的lib目录中。这是必须的步骤,因为Sqoop需要借助...
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
Sqoop 组件安装配置 Sqoop 是 Apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。主要用于在 Hadoop(Hive) 与传统的数据库 (MySQL 、 Oracle 、 Postgres 等 ) 之间进行数据的传递,可以将一个...
一、Sqoop 安装 1.到/install-package目录下查看sqoop的安装包 cd /install-package ls 2.解压 sqoop 的按转包到/apps目录下 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/apps 将名称换成sqoop mv sqopp-...
4. **验证安装**:运行 `bin/sqoop help` 命令,如果显示 Sqoop 的帮助信息,说明安装成功。 5. **测试连接**:使用 `bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password ...
Hadoop+Hive+Mysql+Zookeeper+Hbase+Sqoop详细安装手册