Sqoop

Sqoop是什么？

它是一个工具，一个在Hadoop和关系型数据库之间进行数据导入导出，它将这个过程中的大部分步骤自动执行，简化了使用者的。
同时，它将整个数据导入导出过程用MapReduce进行实现，充分利用了Hadoop分布式的优点.

实例场景

广告PV记录,包含广告ID,PV时间,访问IP三项信息
数据规模:1700万
原始位置:本机MySQL数据库

Sqoop从DB到HDFS

格式:

sqoop import (generic-args) (import-args)

常用参数:
–connect (jdbc-uri)       Specify JDBC connect string
–driver (class-name)     Manually specify JDBC driver class to use
–hadoop-home (dir)     Override $HADOOP_HOME
–help     Print usage instructions
-P     Read password from console
–password (password)     Set authentication password
–username (username)     Set authentication username
–verbose     Print more information while working

实例:

将数据导入HDFS:
sqoop import –connect jdbc:mysql://localhost:3306/sqoop_test –direct –table adpv –username root -P

此条语句会将adpv整个表导入到hdfs中,位置默认为/user/`whoami`/adpv
指定存放位置:
–target-dir
–direct参数是为了使用dump工具以提高导出速度
若要指定导出的列:–columns (col,col,col…)
若要指定条件:–where (where clause)
将数据导入Hive
sqoop import –connect jdbc:mysql://localhost:3306/sqoop_test –direct –table adpv –username root -P –hive-import [--hive-overwrite] –hive-table adpv_tmp
注意:此时sqoop会自动在hive中建立临时表,要保证此表不存在! 并且需要hdfs里使用一个同名临时文件夹

Sqoop从Hdfs到DB

格式

sqoop export (generic-args) (import-args)

相关参数:
–direct       Use direct export fast path
–export-dir (dir)     HDFS source path for the export
-m,–num-mappers (n)     Use n map tasks to export in parallel
–table (table-name)     Table to populate

实例

将数据从hdfs导入db
sqoop export –connect jdbc:mysql://localhost:3306/sqoop_test –table adpv –direct –export-dir adpv –username root -P

评论

3 楼 help 2011-12-19  

[root@hadoop-namenode 1 5 /usr/local/sqoop-1.4.0-incubating/bin]#./sqoop --help
Warning: /usr/lib/hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getInstances(Ljava/lang/String;Ljava/lang/Class;)Ljava/util/List;
at org.apache.sqoop.tool.SqoopTool.loadPlugins(SqoopTool.java:139)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:210)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
at org.apache.sqoop.Sqoop.main(Sqoop.java:238)
at com.cloudera.sqoop.Sqoop.main(Sqoop.java:57)
[root@hadoop-namenode 1 6 /usr/local/sqoop-1.4.0-incubating/bin]#

2 楼 085567 2011-04-08  

lvshuding 写道

请问，sqoop 安装时不用配置什么吗？

如果你不需要调整参数设置的话，不需要配置什么配置。

1 楼 lvshuding 2011-04-07  

请问，sqoop 安装时不用配置什么吗？