guoyunsky
- 浏览: 863617 次
- 性别:
- 来自: 上海
-
最新评论
-
greemranqq：
at com.sun.tools.javac.api.Java ...
Eclipse中运行Sqoop诡异问题解决 -
louningfeng：
大神，请教一个问题，Hertrix 和 Nutch 有没有提供 ...
Heritrix3.1.1 新特性,新功能 -
tianyuxxx：
endy219 写道起步学习，资料的确比较少，谢谢分享！
准备跟大家分享下我Heritrix(机器爬虫)的经验 -
keylab：
我勒个去，加个群还需要支付费用才能加，这个境界简直无敌！！！
Hive源码分析(二) Eclipse调试Hive源码报does not have a scheme错误解决 -
不要叫我杨过：
期待后续佳作。。。
Heritrix3.0教程(六) 载入种子的四种方式
文章列表
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233733
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
4.Hadoop MapReduc ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235936
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
4.Hadoop MapReduce 学习笔记(四) MapReduce ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233726
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
4.Hadoop MapReduce 学习笔记(四) MapReduce实 ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233723
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
下一篇: Hadoop MapReduce 学习笔记( ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233718
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
下一篇: Hadoop MapReduce 学习笔记(四) MapReduce实现类似SQL的SELECT MAX(ID) 2 一些改进
从一大堆数中找出最大的数,类似SQL的SE ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233714
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
下一篇: Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
然后是两个测试子类,主要区别在于生成不同的测试数据.我想有一个又浅入深的过程,比如我们一开始接触的MapReduce是WordCount,统计单个单词的个数.这里单词只是一列,相对数据库来说单词表 ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233707
下一篇: Hadoop MapReduce 学习笔记(二) 序言和准备 2
终于踏入了Hadoop的世界,先学习了Sqoop,然后MapReduce.这里结合MapReduce实现类 ...
本博客属原创文章，转载请务必注明出处:http://guoyunsky.iteye.com/blogs/1213966/
欢迎加入Hadoop超级群: 180941958
Sqoop中一大亮点就是可以通过hadoop的mapreduce从关系型数据库中导入数据到HDFS,如此可以加快导入时间.一直想了解MapReduce,所以也仔细的阅读了下相关代码,整理成这篇博客.
一.原理:
Sqoop在import时,需要制定split-by参数.Sqoop根据不同的split- ...
ant checkstyle 所遇到的错误解决
- 博客分类：
- java
加入了开源大军,提交代码时需要ant checkstyle,这里将ant checkstyle过程中遇到的问题整理下来.方便自己也方便别人.
1.First sentence should end with a period
第一句应该以句号(.)结束,如
/**
* util,to parse sql
*
*/
util.to parse sql后面没有句号而报错
2.Utility classes should not have a public or default constructor.
实用工具类不应该有一 ...
欢迎加入Hadoop超级群: 180941958
Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3
Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.
序号
命令/command
类
说明
1
impor
ImportTool
从关系型数据库中导入数据(来自表或者查询语句)到HDFS中
2
export
ExportTool
将HDFS中的数据导入到关系型数据库中
3
codegen
Code ...
本博客属原创文章,转载请务必注明出处:http://guoyunsky.iteye.com/blog/1190702
由于公司有自己的Sqoop分支,基于Sqoop1.2.Sqoop1.3出现也有一段时间了 ,虽然Sqoop官方版本采纳了一部分, 但还是有大部分没有采纳, ...
本博客属原创文章,转载请务必注明出处:http://guoyunsky.iteye.com/blog/1187778
1. ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp/datas/sqoop already exists at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.check ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1178076
欢迎加入Hadoop超级群: 180941958
当我在Eclipse中跑起Hive,运行show tables命令后,发现报这个异常:
> hive> show tables; > show tables; > FAILED: Error in metadata: > org.datanucleus.jdo.exceptions.ClassNotPersistenceCapableException: The > ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1177909
欢迎加入Hadoop超级群: 180941958
终于可以调试Hive源码了.首当其冲的就报了这个错误:
FAILED: Error in metadata: java.lang.IllegalArgumentException: URI: does not have a scheme
2011-09-22 11:54:57,890 ERROR [main] session.SessionState$LogHelper(343): ...
类似的搭建,网上一搜一大把,但每次去搜索比较麻烦.我这里就整理下,方便下次使用.
1.Ubuntu下更换JDK
由于Ubuntu11.04默认安装的是open-JDK,但有的东西只支持sun-jdk.所以这里需要更换.大概如下命令:
// 更换数据源
sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"
// 更新数据源
sudo apt-get update
// 安装sun-jdk
s ...