`

sqoop安装

阅读更多
1.安装:
  1.1:下载: http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
  1.2:解压:tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
  1.3:重命名:mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop1.4.4
2.配置环境变量
  2.1:
    #sqoop1.4.4
    export SQOOP_HOME=/opt/program/sqoop1.4.4
    export PATH=$SQOOP_HOME/bin:$PATH
  2.2.添加MySQL-connect-java.*.jar包[
   把MySQL连接包放到sqoop的lib下
3 修改SQOOP的文件sqoop1.44/bin/configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件)
  #if [ ! -d "${HBASE_HOME}" ]; then
  # echo “Error: $HBASE_HOME does not exist!”
  # echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
  # exit 1
  #fi
  #if [ ! -d "${ZOOKEEPER_HOME}" ]; then
  # echo “Error: $ZOOKEEPER_HOME does not exist!”
  # echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
  # exit 1
  #fi
还有其他HBASE和ZOOKEEPER的部分也需要注释掉。
.在使用sqoop之前需要首先启动hadoop
4.常用的sqoop命令:
    4.1列出mysql数据库中的所有数据库
   sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --    password 123456
    4.2连接mysql并列出数据库中的表
   sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
   命令中的test为mysql数据库中的test数据库名称  username password分别为mysql数据库的用户密码
    4.3将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。
   sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table sqoop_test --username root --password 123456 --hive-table test
   其中 --table sqoop_test为mysql中的数据库test中的表   --hive-table test 为hive中新建的表名称
    4.4从关系数据库导入文件到hive中
   sqoop import --connect jdbc:mysql://localhost:3306/zxtest --username root --password 123456 --table sqoop_test --hive-import --hive-table s_test -m 1 --fields-terminated-by ",";
    4.5将hive中的表数据导入到mysql中,在进行导入之前,mysql中的表hive_test必须已经提起创建好了。
   sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username cxqmysql --password cxq123 --table t1 --hive-import --hive-table t1 -m 1
    4.6从数据库导出表的数据到HDFS上文件
   sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username root --password 123456 --table hive_test -m 1
分享到:
评论

相关推荐

    Sqoop安装与使用

    Sqoop 安装与使用 Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具,充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁,支持...

    大数据技术基础实验报告-sqoop的安装配置与应用.doc

    **一、Sqoop安装** 1. 首先,你需要访问 `/install-package` 目录,确认sqoop的安装包已经在那里。使用命令 `cd /install-package` 和 `ls` 检查。 2. 接下来,解压缩sqoop的安装包到 `/apps` 目录下。运行 `tar -...

    sqoop安装详解以及sqoop介绍

    sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...

    Sqoop 安装.docx

    在本实验中,我们将详细介绍 Sqoop 的安装过程,包括嵌入式安装方法,适用于 Ubuntu 16.04 操作系统的环境。 **实验目标** Sqoop 的安装目的是为了熟悉和掌握 Sqoop 工具的安装步骤,以便在未来的工作中能够高效地...

    5.sqoop安装与配置.docx

    Sqoop 安装与配置 Sqoop 是一款开源的数据传输工具,由 Cloudera 公司开发,用于在 Hadoop 和结构化数据存储之间传输数据。Sqoop 提供了一个命令行接口,允许用户使用 SQL 语句来从关系数据库中导出数据,并将其...

    sqoop安装与使用

    #### 二、Sqoop安装步骤 1. **下载压缩包**: - 访问[Apache官方镜像站点](https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/),下载`sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz`。 2. **解压并配置...

    sqoop安装,使用

    包括数据导入,导出,[www.javaxxz.com]1.02_02_01_17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import)

    电商数仓项目(九) Sqoop安装与配置

    本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop,这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...

    Sqoop安装及MySQL、HDFS、Hive、HBase 数据迁移实验

    内容概要:本文档提供了详细的 Sqoop 安装指南以及在 Ubuntu 上运行 Sqoop 实验的具体步骤,涵盖从环境搭建、 Sqoop 基础配置、 MySQL 连接器获取到常见数据迁移操作。文中介绍了通过 Sqoop 在 MySQL 和 HDFS 之间、...

    5.sqoop安装与配置.pdf

    安装 Sqoop 需要先确保已安装 Java 和 Hadoop。在系统环境变量中设置 `HADOOP_HOME`,并添加 Sqoop 的安装路径到 `PATH` 变量。例如: ``` export SQOOP_HOME=/home/hadoop/sqoop-1.2.0 export SQOOP_CONF_DIR=/...

    sqoop安装工具

    在这个“sqoop安装工具”压缩包中,包含了 Sqoop 的安装包以及 MySQL 的驱动包,这为用户一次性解决安装需求提供了便利。 首先,我们需要理解Sqoop的基本工作原理。Sqoop是通过MapReduce任务来执行数据迁移的,它...

    sqoop 安装与简单使用

    在本教程中,我们将详细探讨 Sqoop 的安装过程及其基本使用方法。 ### Sqoop 的安装 1. **环境准备**:确保你已经安装了 Java 运行环境(JRE)和 Java 开发工具(JDK),因为 Sqoop 需要它们。检查 Java 版本: `...

    大数据环境搭建———>Sqoop安装与配置

    3. 解压后,进入Sqoop的安装目录,执行一系列的目录结构查看和文件查看命令,了解Sqoop的安装目录结构和关键文件。 4. 接下来需要拷贝MySQL JDBC连接驱动到Sqoop的lib目录中。这是必须的步骤,因为Sqoop需要借助...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    第9章 Sqoop组件安装配置.pptx

    Sqoop 组件安装配置 Sqoop 是 Apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。主要用于在 Hadoop(Hive) 与传统的数据库 (MySQL 、 Oracle 、 Postgres 等 ) 之间进行数据的传递,可以将一个...

    大数据技术基础实验报告-sqoop的安装配置与应用PDF

    一、Sqoop 安装 1.到/install-package目录下查看sqoop的安装包 cd /install-package ls 2.解压 sqoop 的按转包到/apps目录下 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/apps 将名称换成sqoop mv sqopp-...

    Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

    4. **验证安装**:运行 `bin/sqoop help` 命令,如果显示 Sqoop 的帮助信息,说明安装成功。 5. **测试连接**:使用 `bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password ...

    Hadoop+Hive+Mysql+Zookeeper+Hbase+Sqoop安装文档

    Hadoop+Hive+Mysql+Zookeeper+Hbase+Sqoop详细安装手册

Global site tag (gtag.js) - Google Analytics