将mssql 的jar包:sqljdbc4.jar 拷贝到SQOOP_HOME/lib下
配置sqoop
cd /home/support/sqoop-1.4.5/conf
cp sqoop-env-template.sh sqoop-env.sh
修改sqoop-env.sh文件
增加:
export HADOOP_COMMAND_HOME=/usr/local/hadoop-0.20.2
export HADOOP_MAPRED_HOME=/usr/local/hadoop-0.20.2
export HIVE_HOME=/usr/local/hive-0.7.1-bin
修改环境变量:
vi ~/.bashrc
新增配置:
export SQOOP_HOME=/usr/local/sqoop-1.4.5
设置环境变量MSSQL_CONNECTOR_HOME:
export MSSQL_CONNECTOR_HOME=/usr/local/sqoop-sqlserver-1.0
export PATH=$PATH:/usr/local/sqoop-1.4.5/bin
重新加载配置
source ~/.bashrc
必须先配置好了SQOOP_HOME才可以安装
cd /usr/local/sqoop-sqlserver-1.0
./install.sh
测试
sqoop eval --connect "jdbc:sqlserver://10.0.32.16:1433;databaseName=Mola_Analysis;username=myuser;password=mypwd" --query "select * from st_HelloWorld where StatDate = '2013-06-04'"
sqoop-sqlserver-1.0.tar.gz下载地址
http://pan.baidu.com/s/1eQ3omOU
相关推荐
Hadoop-Sqoop配置 Sqoop 是一种数据迁移工具,主要用于在结构化数据源和 Hadoop 之间进行数据迁移。Sqoop 可以连接各种数据源,如 MySQL、PostgreSQL、Oracle 等,并将数据导入 Hadoop 中。 Sqoop 的主要特点是...
Sqoop 集群搭建是指在 Hadoop 集群环境中安装和配置 Sqoop,以实现数据的高效转换。 一、Sqoop 安装 Sqoop 的安装可以分为三步:下载 Sqoop 压缩包、解压缩包、将 Sqoop 拷贝到指定目录下。 首先,下载 Sqoop ...
Sqoop 组件安装配置 Sqoop 是 Apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。主要用于在 Hadoop(Hive) ...* 掌握 Sqoop 的安装和配置 * 熟悉 Sqoop 的使用和应用场景 * 了解 Sqoop 的优点和缺点
Sqoop 提供了一个命令行界面,允许用户定义数据传输的参数和配置。Sqoop 的安装和配置是将其集成到 Hadoop 环境中的一个重要步骤。本章将指导用户完成 Sqoop 组件的安装和配置。 1. 实验目的 * 下载和解压 Sqoop ...
安装配置 sqoop 链接:https://blog.csdn.net/m0_69097184/article/details/134153494Sqoop 是一款用于在 Apache Hadoop 和结构化数据存储(如关系型数据库)之间进行大规模数据迁移的工具。它提供了命令行界面,...
3. 配置环境变量,打开 `.bashrc` 文件,如 `vim ~/.bashrc`,并在文件末尾添加SQOOP_HOME路径和PATH更新:`export SQOOP_HOME=/apps/sqoop` 和 `export PATH=$PATH:$SQOOP_HOME/bin`。然后使用 `source ~/.bashrc` ...
:star: sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置 sqoop的安装与配置
本文将详细介绍如何在Hadoop2.6伪分布环境中安装配置Sqoop1.4.6,并进行简单的测试,包括启动Sqoop、MySQL服务以及如何实现从MySQL导入数据到HDFS和从HDFS导出数据到MySQL。 #### 安装环境准备 在开始之前,请确保...
Sqoop 工具的缺点是需要安装和配置,需要添加环境变量和修改配置文件。 Sqoop 工具的应用场景包括: 1. 数据迁移:Sqoop 工具可以将传统型数据库中的数据迁移到 Hadoop 中。 2. 数据集成:Sqoop 工具可以将多个...
Sqoop 的安装和配置是使用 Sqoop 的前提条件,本文将指导您完成 Sqoop 的安装和配置。 1. 安装 Sqoop Sqoop 的安装非常简单,首先需要下载 Sqoop 的安装包 sqoop-1.2.0-CDH3B4.tar.gz,然后解压缩该文件,将其解...
本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop,这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...
通过掌握 Sqoop 的基本概念、安装配置、import 和 export 命令,你将能够有效地在 Hadoop 和 RDBMS 之间进行数据迁移。在实际操作中,可能还需要根据具体需求调整参数,以满足不同的导入导出场景。持续学习和实践 ...
在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成...
Sqoop的安装和配置,Sqoop的数据导入导出,MySQL对hdfs数据的操作
安装Sqoop需要预先搭建Java环境和Hadoop环境,其安装过程涉及下载、解压、配置驱动和环境变量设置等步骤。一旦安装配置完成,就可以利用Sqoop来执行大规模数据的转移工作,从而满足大数据应用中对于数据处理和分析的...
5. **测试安装**:完成上述步骤后,运行`sqoop version`检查是否正确安装和配置。 **异常处理:** 在安装过程中可能会遇到以下问题: 1. **依赖库缺失**:如果在运行Sqoop时遇到找不到JDBC驱动的问题,确保已安装...
编辑`sqoop.properties`文件,设置必要的参数以启用MapReduce配置和简单的身份验证机制: ```properties org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/hadoop/etc/hadoop org....
Sqoop是Apache Hadoop生态中的一个工具,用于在关系型数据库和Hadoop之间高效地导入导出数据。在这个场景中,我们遇到了一个关于Sqoop运行时的问题,即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常...