sqoop1.4.5的安装

1.下载安装包及解压

    sqoop-1.4.5.bin__hadoop-1.0.0.tar.gz

 

2.配置环境变量和配置文件

cd %SQOOP_HOME%

cp conf/sqoop-env-template.sh /conf/sqoop-env.sh

在sqoop-env.sh中添加如下代码：

export HADOOP_COMMON_HOME=/home/hadoop/hadoop 

export HADOOP_MAPRED_HOME=/home/hadoop/hadoop 

export HBASE_HOME=/home/hadoop/hbase 

export HIVE_HOME=/home/hadoop/hive 

export ZOOCFGDIR=/home/hadoop/zookeeper

(如果数据读取不设计hbase和hive，那么相关hbase和hive的配置可以不加，如果集群有独立的zookeeper集群，那么配置zookeeper，反之，不用配置)。

 

3.copy需要的lib包到Sqoop/lib

所需的包：hadoop-core包、mysql的jdbc包（或Oracle的jdbc包等）

cp ~/hadoop/hadoop-core-1.0.4.jar ~/sqoop/lib/

cp mysql-connector-java-5.1.18.jar ~/sqoop/lib/

 

4.添加环境变量

gedit /etc/profile

export SQOOP_HOME=/home/hadoop/sqoop-1.4.5.bin__hadoop-1.0.0

export PATH=$SQOOP_HOME/bin:$PATH

export LOGDIR=$SQOOP_HOME/logs

 

5.测试验证

--列出mysql数据库中的所有数据库

sqoop list-databases --connect jdbc:mysql://ubuntu201:3306 --username root --password gxw

 

--连接mysql并列出hive数据库中的表

--(命令中的hive为mysql数据库中的hive数据库名称 username password分别为mysql数据库的用户密码)

sqoop list-tables --connect jdbc:mysql://ubuntu201:3306/hive --username root --password gxw

 

sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person

 

sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person -m 1

 

sqoop import --connect jdbc:mysql://host001/test --username root --password szy --table person --direct -m 1

 

sqoop import-all-tables --connect jdbc:mysql://host001/test --username root --password szy  --direct -m 1

 

sqoop export --connect jdbc:mysql://host001/test --username root --password szy --table person --export-dir person

 

sqoop export --connect jdbc:mysql://host001/test --username root --password szy --table animal --export-dir animal

 

评论

1 楼 吴晓莹1989 2014-12-23  

如果集群有独立的zookeeper集群，那么配置zookeeper，反之，不用配置   zk是独立的  怎么配置？因为zk也是一个集群；hive 不在sqoop不在同一台机器上 HIVE_HOME  怎么配置？