`
dacoolbaby
  • 浏览: 1264781 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

配置sqoop和mssql

阅读更多

将mssql 的jar包:sqljdbc4.jar 拷贝到SQOOP_HOME/lib下

 

配置sqoop  

cd /home/support/sqoop-1.4.5/conf  

 

cp sqoop-env-template.sh sqoop-env.sh

 

修改sqoop-env.sh文件

增加:

export HADOOP_COMMAND_HOME=/usr/local/hadoop-0.20.2

 

export HADOOP_MAPRED_HOME=/usr/local/hadoop-0.20.2

 

export HIVE_HOME=/usr/local/hive-0.7.1-bin

 

修改环境变量:

vi ~/.bashrc

 

新增配置:

export SQOOP_HOME=/usr/local/sqoop-1.4.5

 

设置环境变量MSSQL_CONNECTOR_HOME:

export MSSQL_CONNECTOR_HOME=/usr/local/sqoop-sqlserver-1.0

 

export PATH=$PATH:/usr/local/sqoop-1.4.5/bin

 

重新加载配置

source ~/.bashrc

 

必须先配置好了SQOOP_HOME才可以安装

cd /usr/local/sqoop-sqlserver-1.0

./install.sh

 

测试

sqoop eval --connect "jdbc:sqlserver://10.0.32.16:1433;databaseName=Mola_Analysis;username=myuser;password=mypwd" --query "select * from st_HelloWorld where StatDate = '2013-06-04'"

 

 

 

sqoop-sqlserver-1.0.tar.gz下载地址

http://pan.baidu.com/s/1eQ3omOU

分享到:
评论

相关推荐

    Hadoop-Sqoop配置

    Hadoop-Sqoop配置 Sqoop 是一种数据迁移工具,主要用于在结构化数据源和 Hadoop 之间进行数据迁移。Sqoop 可以连接各种数据源,如 MySQL、PostgreSQL、Oracle 等,并将数据导入 Hadoop 中。 Sqoop 的主要特点是...

    Sqoop集群搭建.

    Sqoop 集群搭建是指在 Hadoop 集群环境中安装和配置 Sqoop,以实现数据的高效转换。 一、Sqoop 安装 Sqoop 的安装可以分为三步:下载 Sqoop 压缩包、解压缩包、将 Sqoop 拷贝到指定目录下。 首先,下载 Sqoop ...

    第9章 Sqoop组件安装配置.pptx

    Sqoop 组件安装配置 Sqoop 是 Apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。主要用于在 Hadoop(Hive) ...* 掌握 Sqoop 的安装和配置 * 熟悉 Sqoop 的使用和应用场景 * 了解 Sqoop 的优点和缺点

    第9章 Sqoop组件安装配置.docx

    Sqoop 提供了一个命令行界面,允许用户定义数据传输的参数和配置。Sqoop 的安装和配置是将其集成到 Hadoop 环境中的一个重要步骤。本章将指导用户完成 Sqoop 组件的安装和配置。 1. 实验目的 * 下载和解压 Sqoop ...

    sqoop-1.4.7(可直接下载学习使用)附有安装配置教程!

    安装配置 sqoop 链接:https://blog.csdn.net/m0_69097184/article/details/134153494Sqoop 是一款用于在 Apache Hadoop 和结构化数据存储(如关系型数据库)之间进行大规模数据迁移的工具。它提供了命令行界面,...

    大数据技术基础实验报告-sqoop的安装配置与应用.doc

    3. 配置环境变量,打开 `.bashrc` 文件,如 `vim ~/.bashrc`,并在文件末尾添加SQOOP_HOME路径和PATH更新:`export SQOOP_HOME=/apps/sqoop` 和 `export PATH=$PATH:$SQOOP_HOME/bin`。然后使用 `source ~/.bashrc` ...

    sqoop安装与使用

    Sqoop是一款用于在Hadoop和关系型数据库之间高效传输数据的工具。它能够便捷地将关系型数据库管理系统(RDBMS)中的数据导入到HDFS或从HDFS导出到RDBMS中,同时也能将数据导出到Hive或HBase等其他Hadoop生态系统中的...

    sqoop配置.docx

    本文将详细介绍如何在Hadoop2.6伪分布环境中安装配置Sqoop1.4.6,并进行简单的测试,包括启动Sqoop、MySQL服务以及如何实现从MySQL导入数据到HDFS和从HDFS导出数据到MySQL。 #### 安装环境准备 在开始之前,请确保...

    Sqoop安装与使用

    Sqoop 工具的缺点是需要安装和配置,需要添加环境变量和修改配置文件。 Sqoop 工具的应用场景包括: 1. 数据迁移:Sqoop 工具可以将传统型数据库中的数据迁移到 Hadoop 中。 2. 数据集成:Sqoop 工具可以将多个...

    5.sqoop安装与配置.docx

    Sqoop 的安装和配置是使用 Sqoop 的前提条件,本文将指导您完成 Sqoop 的安装和配置。 1. 安装 Sqoop Sqoop 的安装非常简单,首先需要下载 Sqoop 的安装包 sqoop-1.2.0-CDH3B4.tar.gz,然后解压缩该文件,将其解...

    电商数仓项目(九) Sqoop安装与配置

    本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop,这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...

    Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

    通过掌握 Sqoop 的基本概念、安装配置、import 和 export 命令,你将能够有效地在 Hadoop 和 RDBMS 之间进行数据迁移。在实际操作中,可能还需要根据具体需求调整参数,以满足不同的导入导出场景。持续学习和实践 ...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成...

    大数据环境搭建———>Sqoop安装与配置

    安装Sqoop需要预先搭建Java环境和Hadoop环境,其安装过程涉及下载、解压、配置驱动和环境变量设置等步骤。一旦安装配置完成,就可以利用Sqoop来执行大规模数据的转移工作,从而满足大数据应用中对于数据处理和分析的...

    sqoop-cdh安装包

    5. **测试安装**:完成上述步骤后,运行`sqoop version`检查是否正确安装和配置。 **异常处理:** 在安装过程中可能会遇到以下问题: 1. **依赖库缺失**:如果在运行Sqoop时遇到找不到JDBC驱动的问题,确保已安装...

    sqoop2安装文档

    编辑`sqoop.properties`文件,设置必要的参数以启用MapReduce配置和简单的身份验证机制: ```properties org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/hadoop/etc/hadoop org....

    sqoop-1.4.7.zip

    Sqoop是Apache Hadoop生态中的一个工具,用于在关系型数据库和Hadoop之间高效地导入导出数据。在这个场景中,我们遇到了一个关于Sqoop运行时的问题,即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常...

    sqoop组件部署.doc

    自2009年启动以来,Sqoop经历了从Hadoop的第三方模块到独立Apache项目的转变,提供了两个主要版本:Sqoop1(1.4.6及之前)和不兼容的Sqoop2。本文将详细介绍如何在Ubuntu 14.04系统上部署Sqoop1.4.6。 **一、环境...

    sqoop入门文档

    1.sqoop基本概念 2.配置sqoop环境 3.sqoop的典型应用 4.sqoop的原理

Global site tag (gtag.js) - Google Analytics