前提条件
已安装JDK和Hadoop,安装方法请参见:
http://pingguocaomei327-163-com.iteye.com/blog/2097093
如果你需要使用Hbase,Hbase也需要装好,安装方法请参见:
http://pingguocaomei327-163-com.iteye.com/blog/2097891
1. 下载并解压
解压从官网下的sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz包到本地目录,我的目录为/home/apple/sqoop-1.4.4。
2. 配置环境变量
打开/etc/profile,添加以下内容:
export SQOOP_HOME=/home/apple/sqoop-1.4.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SQOOP_HOME/bin
执行source /etc/profile ,使更改后的profile生效。
执行以下命令,赋予Sqoop运行的权限:
chmod 777 /home/apple/sqoop-1.4.4/bin/*
3. 配置Sqoop
打开SQOOP_HOME/conf/sqoop-env.sh,添加以下内容:
export HADOOP_COMMON_HOME=Hadoop路径
export HADOOP_MAPRED_HOME= Hadoop路径/share/hadoop/mapreduce
export HBASE_HOME=Hbase路径(不用Hbase可不填)
export HIVE_HOME= Hive路径(不用Hive可不填)
4. 启动与验证Sqoop
Sqoop无需启动即可使用,我们通过一条链接mysql数据库的命令,来验证Sqoop是否可用:
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root
如果运行成功,我们会看到所有的数据库名称列表。
分享到:
相关推荐
- 安装与配置:首先在 Hadoop 集群上安装 Sqoop,配置相关数据库连接信息。 - 数据库连接:使用 `sqoop list-databases` 和 `sqoop list-tables` 命令查看可用数据库和表。 - 导入数据:使用 `sqoop import` 命令...
Sqoop 组件安装配置 Sqoop 是一个开源的数据传输工具,用于在 Hadoop 和结构化数据存储之间传输数据。 Sqoop 提供了一个命令行界面,允许用户定义数据传输的参数和配置。Sqoop 的安装和配置是将其集成到 Hadoop ...
在构建大数据处理环境时,Hadoop集群是核心基础,而`zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10`这一组合则提供了集群中不可或缺的组件。让我们逐一探讨这些组件的功能、作用以及它们之间的协同工作。 **...
解压这个压缩包后,我们可以通过编译、配置和安装步骤将 Sqoop 安装到集群的各个节点上。 在 CDH 5.5.0 中, Sqoop 支持多种操作,包括数据导入、导出、更新和删除。以下是 Sqoop 常用的一些核心功能: 1. 数据...
同时,你还需要编辑 `configure-sqoop` 文件,注释掉与当前环境无关的配置,比如 hbase 和 zookeeper,因为这些不是 Sqoop 连接数据库所必需的。 安装完成后,你可以通过运行 `$sqoop help` 命令来测试 Sqoop 是否...
Sqoop 的安装非常简单,用户只需下载 Sqoop 的二进制包,解压缩后,将 Sqoop 的配置文件 sqoop-env.sh 配置好即可。在配置文件中,需要指定 Sqoop 的安装目录、Hadoop 的安装目录、JDBC 连接器的路径等信息。 3. ...
### Hadoop2.2.0 + HBase0.98.1 + Sqoop1.4.4 + Hive0.13 完全安装手册 #### 前言 随着大数据技术的发展,Hadoop已经成为处理海量数据的核心框架之一。本文旨在为读者提供一套最新的Hadoop2.2.0、HBase0.98.1、...
软件版本列表包括了搭建Hadoop生态系统所需的关键组件版本,例如JDK 1.7.0_67、MySQL 5.1、Hadoop 2.3.0、HBase 0.96、Hive 0.12、SolrCloud 4.4、Storm 0.92、Kafka 2.8.0、Flume-ng 1.4.0、Sqoop 1.4.4等。...
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...
安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 模式 函数 用户自定义函数 过滤UDF 计算UDF 加载UDF 数据处理操作 加载和存储数据 ...