博客首页 → sqoop

最新文章列表

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的 ...
micmiusqoophivehbasehadoop 
sjsky 评论(0) 有2132人浏览 2014-04-09 16:51

sqoop的安装使用

散仙，在上篇文章中，简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用sqoop（注：散仙在这里部署的是sqoop1的环境搭建）。 首先，sqoop是基于Hadoop工作的，所以在这之前，确保你的Linux环境下，已经有可以正常工作的hadoop集群，当然伪分布式和完全分布式都可以。 其次，我们得下载一个sqoop的安全包，散仙在这里使用的是sqoop1， ...
sqoopsqoop数据迁移 
qindongliang1922 评论(0) 有3557人浏览 2013-12-29 23:24

数据迁移工具sqoop入门

首先，先简单说明下sqoop是什么，sqoop 即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理 ...
sqoop数据迁移 
qindongliang1922 评论(2) 有5161人浏览 2013-12-29 22:07

Sqoop – HADOOP和RDBMS数据交换

Sqoop1： wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz tar -xzvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop-1.4.4 cd  ...
Sqoop – HADOOP和RDBMS数据交换SqoopHadoop 
wbj0110 评论(0) 有826人浏览 2013-11-07 09:30

[转]Sqoop取Oracle数据出现SQLRecoverableException

Refer to：http://www.cnblogs.com/cenyuhai/archive/2013/09/06/3306073.html  Oracle: Connection Reset Errors错误代码11/05/26 16:23:47 INFO mapred.JobClient: Task Id : attempt_201105261333_0002_m_000002_0, S ...
sqoop 
dacoolbaby 评论(0) 有7270人浏览 2013-10-21 09:54

sqoop导hbase zookeeper出现的问题

由于测试环境的改变，使用sqoop从oracle往hbase导数时一直出现下列错误： 13/10/12 10:16:54 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/dw/hadoop-2.0.0-cdh4.3.0/lib/native 13/10/12 10:16:54 INFO zookeeper.ZooK ...
hbasesqoop 
tangjunliang 评论(0) 有3960人浏览 2013-10-12 10:46

大数据系列8：Sqoop – HADOOP和RDBMS数据交换

Sqoop1： wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz tar -xzvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop-1.4.4 cd sqoo ...
sqoop数据迁移大数据搜索引擎网络爬虫 
yangshangchuan 评论(5) 有13337人浏览 2013-10-03 00:03

使用oozie调度sqoop从oracle导入hbase

   最近在使用sqoop把oracle中的数据导入到hbase中， 表中的数据每个小时导入一次，使用oozie定时促发。     hadoop版本：hadoop-2.0.0-cdh4.3.0     oozie版本：oozie-3.3.2-cdh4.3.0     sqoop版本：sqoop-1.4.3-cdh4.3.0    相应的配置如下：    coordinator.xml    ...
hadoopjavaooziesqoop 
tangjunliang 评论(1) 有3033人浏览 2013-09-04 16:48

sqoop导出hive数据到oracle

语句： sqoop export --table tableName -connect jdbc:oracle:thin:@xx.xx.xx.xx:port:xxx --username userNameA --password pwd --export-dir sourceFile --input-fields-terminated-by '\001' --inp ...
hadoophivesqoop 
sdhsdhsdhsdh 评论(0) 有13528人浏览 2013-08-31 13:07

利用SQOOP将数据从数据库导入到HDFS

基本使用 如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralceTableName=t ...
sqoophadoop 
tangjunliang 评论(0) 有915人浏览 2013-08-28 10:17

sqoop导入Hive配置

数据库中经常有换行符之类的数据，导入到Hive里面会发生重大的问题，所以，sqoop是有一个配置项来解决这个问题的。   sqoop import --connect jdbc:oracle:thin:@url --username user --password pwd \ --table PA18ODSDATA.PARTNER_INFO \ --columns ID_PARTNER_ ...
sqoop 
dacoolbaby 评论(0) 有5548人浏览 2013-07-31 18:07

Sqoop环境变量异常

在通过Oozie调用sqoop action从DB导入数据到hive表的时候，发现了异常。 28167 [Thread-30] INFO  org.apache.sqoop.hive.HiveImport  - FAILED: SemanticException [Error 10028]: Line 2:17 Path is not legal ''hd ...
Hivesqoopoozie 
dacoolbaby 评论(0) 有2467人浏览 2013-07-12 09:27

Sqoop1.4.2数据同步工具基础使用

我们使用Sqoop主要是用作数据库和HDFS之间的数据同步操作。 那么在HDFS中主要使用的管理工具是HIVE。   目前，使用Sqoop使用 hive-import功能是有异常的。 在使用hive-import功能的时候，会自动生成CREATE TABLE 脚本。 而无法根据Hive的Metadata来进行操作。   而在使用-query功能，也就是通过查询脚本进行数据导入时，是 ...
sqoopOracle 
dacoolbaby 评论(0) 有3107人浏览 2013-05-14 10:47

sqoop

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 1、下载地址： http://sqoop.apache.org/ 2、修改SQOOP的文件configure-sqoop，注释掉hbase和zookeep ...
sqoop 
bigsea 评论(0) 有984人浏览 2013-04-24 18:28

sqoop扩展

sqoop是一款数据互导工具,利用它可以在关系数据库与hbase/hive/hdfs进行数据互导,过程中会生成一个mapreduce任务，也就说是sqoop是基于hadoop的.淘宝也有自己的数据互导工具，叫datax,它跟sqoop实现原理不同，没有基于hadoop.   sqoop目前还没有很好的支持不同的导数据业务,比如数据库字段名称不能与java关键字同名、row-key不支持整型导 ...
hadoopsqoophbase 
justinyao 评论(0) 有2300人浏览 2013-02-06 00:31

sqoop将postgresql表导入hive表

使用sqoop导入数据至hive常用语句 直接导入hive表 sqoop import --connect jdbc:postgresql://ip/db_name--username user_name  --table table_name  --hive-import -m 5 内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将h ...
sqooppostgresql 
lookqlp 评论(0) 有7695人浏览 2012-11-20 13:54

关于sqoop --split-by 及 -m的理解

场景： sqoop import --connect jdbc:postgresql://...../..... --username ....  --query "select * from retail_tb_order_qiulp_test where status = 'TRADE_FINISHED' or status = 'TRADE_CLOSED' or status = ...
sqoop 
lookqlp 评论(2) 有3999人浏览 2012-11-20 13:51

[Hadoop]Sqoop 1.4.2中文文档（三）之SqoopJob与其外的操作

一、sqoop job相关命令参数 usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [<tool-name>] [TOOL-ARGS]] Job management arguments: --create <job-id> Create a new saved job --delete ...
hadoopsqoop 
MyEyeOfJava 评论(0) 有7031人浏览 2012-10-25 10:50

[Hadoop]Sqoop 1.4.2中文文档（二）之数据导出

一、sqoop-export 相关参数： usage: sqoop export [GENERIC-ARGS] [TOOL-ARGS] Common arguments: --connect <jdbc-uri> Specify JDBC connect ...
hadoopsqoop 
MyEyeOfJava 评论(0) 有3344人浏览 2012-10-24 16:25

[Hadoop]Sqoop 1.4.2中文文档（一）之数据导入

一、Sqoop Help $ sqoop help usage: sqoop COMMAND [ARGS] Available commands: codegen Generate code to interact with database records create-hive-table Import a table definition into ...
hadoopsqoop 
MyEyeOfJava 评论(0) 有12720人浏览 2012-10-24 16:02

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64570) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54784) Web(54511) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40811) 编程(39454) Windows(39381) JSP(37540) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics