`
鞠文婷
  • 浏览: 16798 次
  • 性别: Icon_minigender_2
  • 来自: 江苏南通
社区版块
存档分类
最新评论

集群上运行MR程序---备忘

阅读更多

       最近虚拟机老出bug,又鉴于日后处理大数据时必定会用到集群,所以我缠着我们组现在已经研究到Scala的大神,不时软磨硬泡,总算在今天下午独自成功跑完一个mapreduce小程序。秉着珂姨“好记性不如烂博客”的原则,决定将其记录在案。

      (1)首先要新建一个目录,我起名为test,

                      hadoop fs -mkdir /test;

      (2)手动将存储着实验数据的txt文件放入虚拟机的文件系统中,我放在/usr/local目录下,然后将其上传至HDFS,

                      hadoop fs -put /usr/local/MR.txt /test。

       查看test是否上传成功,可用hadoop fs -ls /test;



 

      (3)将导出的jar文件同样复制到虚拟机的文件系统中;

      (4)接着就可以执行程序了,指令形式:

                      hadoop  jar  你的jar包的位置  jar包   主类名  /test/test.txt    输出目录

       在这之前,你可以先进入存放jar文件的目录,就可以直接hadoop jar jar包 主类名 /test(/MR.txt) 输出目录;



 

       Problem: 到这里我遇到了一个问题,

 请教了大神,知道问题出在jdk,解决方案:点击所需项目—>点击工具栏Project中的Properties—>选中左边栏的Java compiler,如图

 

      (5)改完后,运行,此处截取最后片段,查看是否成功,



 

                      hadoop fs -ls /output_JWT,若自动生成一个SUCCESS文件则说明执行成功

 

      (6)跑程序的目的自然是查看结果,指令如下:

                      hadoop fs -cat /output_JWT/(系统自动生成的文件)

 

      到这里,我的第一个集群上的MR程序就跑完了,因为实现的功能非常简单,只是统计第一列日志的各个内容出现次数,因此这里就不另附上源码了。

       Welcome criticism!~

 

  • 大小: 9.6 KB
  • 大小: 89.2 KB
  • 大小: 31 KB
  • 大小: 35.8 KB
  • 大小: 50.3 KB
  • 大小: 11.4 KB
  • 大小: 85.5 KB
  • 大小: 240.8 KB
1
0
分享到:
评论
2 楼 鞠文婷 2014-07-29  
357236417 写道
很好 很强大

大神过奖了
1 楼 357236417 2014-07-29  
很好 很强大

相关推荐

Global site tag (gtag.js) - Google Analytics