1. download sqoop
wget http://apache.fayea.com/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 或
wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
ln -s sqoop-1.99.7-bin-hadoop200 sqoop
2. 确保Hadoop可用,$HADOOP_HOME可用
3. config hadoop
vi /usr/local/hadoop-2.6.5/etc/hadoop/core-site.xml
<property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.sqoop2.groups</name> <value>*</value> </property>
vi /usr/local/hadoop-2.6.5/etc/hadoop/container-executor.cfg
allowed.system.users=sqoop2
4 copy mysql-connector-java-5.1.30.jar to /usr/local/sqoop/tools/lib
5 config Sqoop
vi ~/.bashrc
export SQOOP_HOME=/usr/local/sqoop
export PATH=:$SQOOP_HOME/bin
vi /usr/local/sqoop/conf/sqoop.properties
replace @LOGDIR@ to /usr/local/sqoop/logs
replace @BASEDIR@ to /usr/local/sqoop
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.6.5/etc/hadoop
6. Repository Initialization
sqoop2-tool upgrade
sqoop2-tool verify
7. start server
sqoop2-server start
sqoop2-server stop
8 start client
sqoop2-shell
相关推荐
### Sqoop2安装与配置详解 #### 一、概述 Sqoop是一款开源工具,主要用于在Hadoop和关系型数据库之间高效地传输数据。Sqoop2是Sqoop的一个重大升级版本,它引入了全新的架构和改进的功能,使得数据迁移更加稳定...
Sqoop 组件安装配置 Sqoop 是一个开源的数据传输工具,用于在 Hadoop 和结构化数据存储之间传输数据。 Sqoop 提供了一个命令行界面,允许用户定义数据传输的参数和配置。Sqoop 的安装和配置是将其集成到 Hadoop ...
【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具,它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...
Sqoop 组件安装配置 Sqoop 是 Apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。主要用于在 Hadoop(Hive) 与传统的数据库 (MySQL 、 Oracle 、 Postgres 等 ) 之间进行数据的传递,可以将一个...
sqoop的安装和基本操作.mp4
Sqoop 工具的发展至今主要演化了二大版本,Sqoop1 和 Sqoop2,我们以 Sqoop1 为案例进行讲解,Sqoop2 商用不太稳定。 Sqoop 工具是一个非常有用的数据迁移工具,可以帮助用户将传统型数据库中的数据迁移到 Hadoop ...
安装Sqoop2的步骤通常包括以下几个阶段: 1. **环境准备**:确保你的系统已经安装了Java运行环境(JRE)和Hadoop。对于Hadoop200,你需要设置好HADOOP_HOME环境变量,指向Hadoop的安装目录。 2. **下载 Sqoop2**:...
:star: sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置
sqoop的安装与配置 第1章:什么是 Sqoop? Sqoop 是一种用于在 Hadoop 与关系型数据库(例如 MySQL、Oracle)之间传输数据的工具。简单来说,它就像一个“搬运工”,把不同地方的数据搬到 ...第2章:安装 Sqoop 的步骤
4. **验证安装**:运行 `bin/sqoop help` 命令,如果显示 Sqoop 的帮助信息,说明安装成功。 5. **测试连接**:使用 `bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password ...
### Sqoop2-1.99.7 文档概述 ...以上内容概括了 Sqoop2-1.99.7 文档的主要部分,包括安装指南、工具、用户和开发者指南以及安全和许可信息。通过这些文档,用户可以更好地理解和使用 Sqoop 这一强大的数据迁移工具。
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...
在本教程中,我们将详细探讨 Sqoop 的安装过程及其基本使用方法。 ### Sqoop 的安装 1. **环境准备**:确保你已经安装了 Java 运行环境(JRE)和 Java 开发工具(JDK),因为 Sqoop 需要它们。检查 Java 版本: `...
Sqoop2是Apache Hadoop生态系统中的一个关键组件,主要用于在Hadoop和传统的关系型数据库管理系统(RDBMS)之间高效地传输数据。标题中的"sqoop2-1.99.5-cdh5.6.0.tar.gz"指的是 Sqoop2 的一个特定版本,这个版本是...
### sqoop2 Java API从Oracle导数据到HDFS开发总结 #### 整体说明与准备工作 本文档旨在帮助读者理解如何使用sqoop2的Java API将数据从Oracle数据库迁移至HDFS(Hadoop Distributed File System),同时分享了作者...
在本实验中,我们将详细介绍 Sqoop 的安装过程,包括嵌入式安装方法,适用于 Ubuntu 16.04 操作系统的环境。 **实验目标** Sqoop 的安装目的是为了熟悉和掌握 Sqoop 工具的安装步骤,以便在未来的工作中能够高效地...
Sqoop 安装与配置 Sqoop 是一款开源的数据传输工具,由 Cloudera 公司开发,用于在 Hadoop 和结构化数据存储之间传输数据。Sqoop 提供了一个命令行接口,允许用户使用 SQL 语句来从关系数据库中导出数据,并将其...