博客首页 → sqoop

最新文章列表

用Sqoop把数据从HDFS导入到MYSQL

sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。 在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想: 1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。 2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样 ...
hadoopsqoopjavahdfsmysql 
totodu 评论(0) 有898人浏览 2012-09-10 18:34

sqoop导入数据至hive

使用sqoop导入数据至hive常用语句     直接导入hive表      sqoop import --connect jdbc:postgresql://ip/db_name--username user_name  --table table_name  --hive-import -m 5     ...
sqoop 
lookqlp 评论(2) 有45642人浏览 2012-08-29 11:20

使用sqoop从MYSQL导入数据到HBase合集

官方文档：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html   博文一：http://www.blogjava.net/hello-yun/archive/2012/05/28/379371.html   博文二：http://blog.csdn.net/flyeagle88/article/details/7546292 ...
sqoop 
邢邢色色 评论(0) 有2746人浏览 2012-08-01 09:36

解决sqoop java.util.NoSuchElementException

如果报错 11/08/05 10:51:22 INFO mapred.JobClient: Running job: job_201108051007_0010  11/08/05 10:51:23 INFO mapred.JobClient:  map 0% reduce 0%  11/08/05 10:51:36 INFO mapred.JobClient: Task Id : attemp ...
sqoop 
help 评论(1) 有6076人浏览 2012-01-30 12:01

Sqoop源码分析(三) Sqoop各种命令和参数

         欢迎加入Hadoop超级群: 180941958          Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3         Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.   序号 命令/command 类 说明 1 impor ImportT ...
Sqoopcommand参数命令 
guoyunsky 评论(2) 有10882人浏览 2011-10-17 15:30

Sqoop源码分析(二) Sqoop1.3变化/改进

          本博客属原创文章,转载请务必注明出处:http://guoyunsky.iteye.com/blog/1190702           由于公司有自己的Sqoop分支,基于Sqoop1.2.Sqoop1.3出现 ...
Sqoop 
guoyunsky 评论(0) 有7262人浏览 2011-10-12 14:56

sqoop could not find any valid local directory 异常解决

在没有更改任何配置的情况下sqoop突然报警：org.apache.hadoop.util.diskchecker$diskerrorexception: could not find any valid local directory； 原来是硬盘空间满了，占用到了100%；删除没用的数据后，sqoop能正常运行。    过了一天后，又报sqoop error reading task o ...
sqoop 
085567 评论(0) 有2546人浏览 2011-09-07 15:10

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics