`
苹果草莓
  • 浏览: 5515 次
  • 性别: Icon_minigender_1
  • 来自: 河南
社区版块
存档分类
最新评论

sqoop1.4.4安装与配置

阅读更多
前提条件
    已安装JDK和Hadoop,安装方法请参见:
    http://pingguocaomei327-163-com.iteye.com/blog/2097093
    如果你需要使用Hbase,Hbase也需要装好,安装方法请参见:
    http://pingguocaomei327-163-com.iteye.com/blog/2097891

1. 下载并解压
    解压从官网下的sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz包到本地目录,我的目录为/home/apple/sqoop-1.4.4。

2. 配置环境变量
    打开/etc/profile,添加以下内容:
export SQOOP_HOME=/home/apple/sqoop-1.4.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SQOOP_HOME/bin

    执行source /etc/profile ,使更改后的profile生效。
    执行以下命令,赋予Sqoop运行的权限:
chmod 777 /home/apple/sqoop-1.4.4/bin/*


3. 配置Sqoop
    打开SQOOP_HOME/conf/sqoop-env.sh,添加以下内容:
export HADOOP_COMMON_HOME=Hadoop路径
export HADOOP_MAPRED_HOME= Hadoop路径/share/hadoop/mapreduce
export HBASE_HOME=Hbase路径(不用Hbase可不填)
export HIVE_HOME= Hive路径(不用Hive可不填)


4. 启动与验证Sqoop
    Sqoop无需启动即可使用,我们通过一条链接mysql数据库的命令,来验证Sqoop是否可用:
   
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root

    如果运行成功,我们会看到所有的数据库名称列表。
分享到:
评论

相关推荐

    sqoop-1.4.4-cdh5.0.6.tar

    - 安装与配置:首先在 Hadoop 集群上安装 Sqoop,配置相关数据库连接信息。 - 数据库连接:使用 `sqoop list-databases` 和 `sqoop list-tables` 命令查看可用数据库和表。 - 导入数据:使用 `sqoop import` 命令...

    第9章 Sqoop组件安装配置.docx

    Sqoop 组件安装配置 Sqoop 是一个开源的数据传输工具,用于在 Hadoop 和结构化数据存储之间传输数据。 Sqoop 提供了一个命令行界面,允许用户定义数据传输的参数和配置。Sqoop 的安装和配置是将其集成到 Hadoop ...

    zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10

    在构建大数据处理环境时,Hadoop集群是核心基础,而`zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10`这一组合则提供了集群中不可或缺的组件。让我们逐一探讨这些组件的功能、作用以及它们之间的协同工作。 **...

    sqoop-1.4.6-cdh5.5.0.tar.gz

    解压这个压缩包后,我们可以通过编译、配置和安装步骤将 Sqoop 安装到集群的各个节点上。 在 CDH 5.5.0 中, Sqoop 支持多种操作,包括数据导入、导出、更新和删除。以下是 Sqoop 常用的一些核心功能: 1. 数据...

    sqoop安装手册

    同时,你还需要编辑 `configure-sqoop` 文件,注释掉与当前环境无关的配置,比如 hbase 和 zookeeper,因为这些不是 Sqoop 连接数据库所必需的。 安装完成后,你可以通过运行 `$sqoop help` 命令来测试 Sqoop 是否...

    sqoop 从 hive 导到mysql遇到的问题.docx

    Sqoop 的安装非常简单,用户只需下载 Sqoop 的二进制包,解压缩后,将 Sqoop 的配置文件 sqoop-env.sh 配置好即可。在配置文件中,需要指定 Sqoop 的安装目录、Hadoop 的安装目录、JDBC 连接器的路径等信息。 3. ...

    Hadoop2.2.0Hbase0.98.1Hive0.13完全安装手册

    ### Hadoop2.2.0 + HBase0.98.1 + Sqoop1.4.4 + Hive0.13 完全安装手册 #### 前言 随着大数据技术的发展,Hadoop已经成为处理海量数据的核心框架之一。本文旨在为读者提供一套最新的Hadoop2.2.0、HBase0.98.1、...

    hadoop生态系统搭建

    软件版本列表包括了搭建Hadoop生态系统所需的关键组件版本,例如JDK 1.7.0_67、MySQL 5.1、Hadoop 2.3.0、HBase 0.96、Hive 0.12、SolrCloud 4.4、Storm 0.92、Kafka 2.8.0、Flume-ng 1.4.0、Sqoop 1.4.4等。...

    Hadoop权威指南 第二版(中文版)

     本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop  数据!数据!  数据存储与分析  与其他系统相比  关系型数据库管理系统...

    Hadoop权威指南(中文版)2015上传.rar

    安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 模式 函数 用户自定义函数 过滤UDF 计算UDF 加载UDF 数据处理操作 加载和存储数据 ...

Global site tag (gtag.js) - Google Analytics