guoyunsky
- 浏览: 863617 次
- 性别:
- 来自: 上海
-
最新评论
-
greemranqq：
at com.sun.tools.javac.api.Java ...
Eclipse中运行Sqoop诡异问题解决 -
louningfeng：
大神，请教一个问题，Hertrix 和 Nutch 有没有提供 ...
Heritrix3.1.1 新特性,新功能 -
tianyuxxx：
endy219 写道起步学习，资料的确比较少，谢谢分享！
准备跟大家分享下我Heritrix(机器爬虫)的经验 -
keylab：
我勒个去，加个群还需要支付费用才能加，这个境界简直无敌！！！
Hive源码分析(二) Eclipse调试Hive源码报does not have a scheme错误解决 -
不要叫我杨过：
期待后续佳作。。。
Heritrix3.0教程(六) 载入种子的四种方式
文章列表
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blogs/1299770/
欢迎加入Hadoop超级群: 180941958
Oozie是个针对Hadoop的工作流,有些自己的语法. 这两天碰到一个异常,查看源码才明白Oozie的join只允许承接fork下来的任务,否则会报以下错误.整个异常如下:
WARN CallableQueueService$CallableWrapper:528 - USER[-] GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] exception calla ...
Hadoop lzo 正确安装及问题解决
- 博客分类：
- Hadoop
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1289475
欢迎加入Hadoop超级群: 180941958
之前有篇文章http://guoyunsky.iteye.com/blog/1237327介绍解hadoop-lzo相关问题,同时也介绍到了如何安装.但发现这种安装方法会出现一些问题.
同时这种安装方法也是网上流传的安装方法,我这里予以纠正.先说下大概原因:hadoop-lzo-xxx的前身是hadoop-gpl-compression-xxx,之前是放在google code ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1266226
欢迎加入Hadoop超级群: 180941958
压缩是绕不开的话题,因为当今很多程序的压力还是在IO.特别是Hadoop这种分布式存储和运算框架,单台机器的IO,网络通信IO都是压力和挑战.关于Hadoop为什么要用Lzo来压缩而没有选用传统的压缩方法,我这里不再阐述.相关资料很多.有兴趣的可以查看cloudera这篇博客:http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1- ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1265944
欢迎加入Hadoop超级群: 180941958
刚接触Hadoop时,对SequenceFile和Writable还产生了一点联想,以为是什么神奇的东西.后来也明白,不过就是自己IO的一些协议,用于自己的输入输出.这里介绍下如何从sequence file中读出和写入Writable数据.
Writable类似传输的数据,相对于Java来说等同于对象,只是引用到Hadoop中需要一套协议去进行传输转换这个对象.于是有了里面的 publ ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1257521
欢迎加入Hadoop超级群: 180941958
之前Oozie都是伪分布式测试,获取的都是本地文件.现在开始在分布式环境下测试,从HDFS中获取文件(所以你的APP也要传入到相应的HDFS路径中).我这里采用的例子是$OOZIE_HOME/examples/apps/map-reduce.其中对job.properties做如下设置:
nameNode=hdfs://localhost:9000
jobTracker=localhost:9 ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1254537
欢迎加入Hadoop超级群: 180941958
搭建起了hadoop＋oozie+Sqoop,准备写个Oozie工作流,里面通过Sqoop从DB里导数据再写到HDFS.一切就绪,但却报错了.报错如下:
Error: E0701 : E0701: XML schema error, cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1245092
欢迎加入Hadoop超级群: 180941958
Oozie下面有很多例子,提供测试.也可以将源码放入Eclipse中启动提交.这里就一起试下.但发现有些问题,一一解决吧.
运行Oozie例子map-reduce,命令:
$OOZIE_HOME/bin/oozie job -oozie http://localhost:11000/oozie -config /home/guoyun/hadoop/oozie-3.0.2 ...
本博客属原创文章,转载请注明出处: http://guoyunsky.iteye.com/blog/1243417
欢迎加入Hadoop超级群: 180941958
cloudera里面有基于Oozie的安装,但是通过sudo apt-get install oozie的方式.其中你要将cloudera hadoop的source放入sources.list.由于我升级了最新的Ubuntu.但对应的cloudera hadoop还没有相应的版本.所以添加sources.list无法成功.网上也没什么手动安装的资料,于是我就写点吧.参考来源: ht ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blogs/1237327
欢迎加入Hadoop超级群: 180941958
完整异常:
11/11/07 10:15:02 ERROR lzo.GPLNativeCodeLoader: Could not load native gpl library
java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path
at java.lang.ClassLoader.loadLibrary(Cl ...
给Hadoop Sqoop 写的一点小代码被他们收录进Sqoop1.4,地址:https://issues.apache.org/jira/browse/SQOOP-367 ,这里发帖纪念下.也终于对开源有了个直白的认识.以前一直只知道索取,即使改源码也只是在自己机器上改下,但不知道其实可以提交给他们,被他们收录,采纳.然后给其他人使用.
这里要很感谢公司的一位老兄,这点小代码也是直接copy你的.也是你让我懂得了这些,不然不知道要到什么时候.
有时就差一个机会,我想人生最大的痛苦莫过于此.其实以前离开源很近很近,使用开源,参与邮件列表提问,回答问题 ...
本博客属创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235954
本博客已迁移到本人独立博客: http://www.yun5u.com/articles/hadoop-mapreduce-sql-order-by-sort-improve-fix.html
请先阅读:
...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235953
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235952
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(八) MapReduce实现类似SQL的order by/排序
4.Hadoop MapReduce 学习笔记(九) Map ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235949
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
3.Hadoop MapReduce 学习笔记(八) MapReduce实现类似SQL的order by/排序
下一篇: Hadoop MapReduce 学习笔记(九) MapRedu ...
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235945
请先阅读:
1.Hadoop MapReduce 学习笔记(一) 序言和准备
2.Hadoop MapReduce 学习笔记(二) 序言和准备 2
下一篇: Hadoop MapReduce 学习笔记(九) MapReduce实现类似SQL的order by/排序 正确写法
排序是很重要的一个环节,类似SQL中的SELECT ...