- 浏览: 405622 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
秦时明月黑:
深入浅出,楼主很有功底
hive编译部分的源码结构 -
tywo45:
感觉好多错误,但还是支持!
HDFS+MapReduce+Hive+HBase十分钟快速入门 -
xbbHistory:
解析的很棒!!
Linux-VFS -
darrendu:
执行这个命令,bin/hadoop fs -ls /home/ ...
Hadoop示例程序WordCount运行及详解 -
moudaen:
请问楼主,我执行总后一条语句时,执行的是自带的1.sql,你当 ...
TPC-H on Hive
零. 前言 ¶
- 開發hadoop 需要用到許多的物件導向語法,包括繼承關係、介面類別,而且需要匯入正確的classpath,否則寫hadoop程式只是打字練習...
- 用類 vim 來處理這種複雜的程式,有可能會變成一場惡夢,因此用eclipse開發,搭配mapreduce-plugin會事半功倍。
- 若繼承練習一的系統,可以直接跳到二、 建立專案 開始
0.1 環境說明 ¶
- ubuntu 8.10
- sun-java-6
- eclipse 3.3.2
- hadoop 0.20.2
0.2 目錄說明 ¶
- 使用者:waue
- 使用者家目錄: /home/hadooper
- 專案目錄 : /home/hadooper/workspace
- hadoop目錄: /opt/hadoop
一、安裝 ¶
安裝的部份沒必要都一模一樣,僅提供參考,反正只要安裝好java , hadoop , eclipse,並清楚自己的路徑就可以了
1.1. 安裝java ¶
首先安裝java 基本套件
$ sudo apt-get install java-common sun-java6-bin sun-java6-jdk sun-java6-jre
1.1.1. 安裝sun-java6-doc ¶
1 將javadoc (jdk-6u10-docs.zip) 下載下來 下載點
2 下載完後將檔案放在 /tmp/ 下
3 執行
$ sudo apt-get install sun-java6-doc
1.2. ssh 安裝設定 ¶
$ apt-get install ssh $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ ssh localhost
執行ssh localhost 沒有出現詢問密碼的訊息則無誤
1.3. 安裝hadoop ¶
安裝hadoop0.20到/opt/並取目錄名為hadoop
$ cd ~ $ wget http://apache.ntu.edu.tw/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz $ tar zxvf hadoop-0.20.2.tar.gz $ sudo mv hadoop-0.20.2 /opt/ $ sudo chown -R waue:waue /opt/hadoop-0.20.2 $ sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop
- 編輯 /opt/hadoop/conf/hadoop-env.sh
export JAVA_HOME = /usr/lib/jvm/java-6-sun export HADOOP_HOME = /opt/hadoop export PATH = $PATH :/opt/hadoop/bin
- 編輯 /opt/hadoop/conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop/hadoop-${ user .name } </value> </property> </configuration>
- 編輯 /opt/hadoop/conf/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
- 編輯 /opt/hadoop/conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
- 啟動
$ cd /opt/hadoop $ source /opt/hadoop/conf/hadoop-env.sh $ hadoop namenode -format $ start-all.sh $ hadoop fs -put conf input $ hadoop fs -ls
- 沒有錯誤訊息則代表無誤
1.4. 安裝eclipse ¶
- 在此提供兩個方法來下載檔案
- 方法一:下載 eclipse SDK 3.4.2 Classic ,並且放這檔案到家目錄
- 方法二:貼上指令
$ cd ~ $ wget http://ftp.cs.pu.edu.tw/pub/eclipse/eclipse/downloads/drops/R-3.4.2-200902111700/eclipse-SDK-3.4.2-linux-gtk.tar.gz
- eclipse 檔已下載到家目錄後,執行下面指令:
$ cd ~ $ tar -zxvf eclipse-SDK-3.4.2-linux-gtk.tar.gz $ sudo mv eclipse /opt $ sudo ln -sf /opt/eclipse/eclipse /usr/local/bin/
二、 建立專案 ¶
2.1 安裝hadoop 的 eclipse plugin ¶
- 匯入hadoop 0.20.2 eclipse plugin
$ cd /opt/hadoop $ sudo cp /opt/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar /opt/eclipse/plugins
$ sudo vim /opt/eclipse/eclipse.ini
- 可斟酌參考eclipse.ini內容(非必要)
-startup plugins/org.eclipse.equinox.launcher_1.0.101.R34x_v20081125.jar --launcher.library plugins/org.eclipse.equinox.launcher.gtk.linux.x86_1.0.101.R34x_v20080805 -showsplash org.eclipse.platform --launcher.XXMaxPermSize 512m -vmargs -Xms40m -Xmx512m
2.2 開啟eclipse ¶
- 打開eclipse
$ eclipse &
一開始會出現問你要將工作目錄放在哪裡:在這我們用預設值
PS: 之後的說明則是在eclipse 上的介面操作
2.3 選擇視野 ¶
window -> | open pers.. -> | other.. -> | map/reduce |
2.4 建立專案 ¶
file -> new -> project -> Map/Reduce -> Map/Reduce Project -> next
建立mapreduce專案(1)
建立mapreduce專案的(2)
project name-> 輸入 : icas ( 隨意) use default hadoop -> Configur Hadoop install... -> 輸入: "/opt/hadoop" -> ok Finish
2.5 設定專案 ¶
由於剛剛建立了icas這個專案,因此eclipse已經建立了新的專案,出現在左邊視窗,右鍵點選該資料夾,並選properties
Step1. 右鍵點選project的properties做細部設定
Step2. 進入專案的細部設定頁
- java Build Path -> Libraries -> hadoop-0.20.2-ant.jar
- java Build Path -> Libraries -> hadoop-0.20.2-core.jar
- java Build Path -> Libraries -> hadoop-0.20.2-tools.jar
- 以 hadoop-0.20.2-core.jar 的設定內容如下,其他依此類推
source
...-> 輸入:/opt/hadoop/src/core
javadoc ...-> 輸入:file:/opt/hadoop/docs/api/
Step3. hadoop的javadoc的設定完後(2)
Step4. java本身的javadoc的設定(3)
- javadoc location -> 輸入:file:/usr/lib/jvm/java-6-sun/docs/api/
設定完後回到eclipse 主視窗
2.6 連接hadoop server ¶
Step1. 視窗右下角黃色大象圖示"Map/Reduce Locations tag" -> 點選齒輪右邊的藍色大象圖示:
Step2. 進行eclipse 與 hadoop 間的設定(2)
Location Name -> 輸入:hadoop ( 隨意) Map/Reduce Master -> Host-> 輸入:localhost Map/Reduce Master -> Port-> 輸入:9001 DFS Master -> Host-> 輸入:9000 Finish
設定完後,可以看到下方多了一隻藍色大象,左方展開資料夾也可以秀出在hdfs內的檔案結構
三、 撰寫範例程式 ¶
- 之前在eclipse上已經開了個專案icas,因此這個目錄在:
- /home/hadooper/workspace/icas
- 在這個目錄內有兩個資料夾:
- src : 用來裝程式原始碼
- bin : 用來裝編譯後的class檔
- 如此一來原始碼和編譯檔就不會混在一起,對之後產生jar檔會很有幫助
- 在這我們編輯一個範例程式 : WordCount
3.1 mapper.java ¶
- new
File -> new -> mapper
- create
source
folder-> 輸入: icas/src
Package : Sample
Name -> : mapper
- modify
package Sample; import java.io.IOException ; import java.util.StringTokenizer ; import org.apache.hadoop.io.IntWritable ; import org.apache.hadoop.io.Text ; import org.apache.hadoop.mapreduce.Mapper ; public class mapper extends Mapper< Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable( 1 ); private Text word = new Text(); public void map ( Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer( value. toString ()); while ( itr. hasMoreTokens ()) { word. set ( itr. nextToken ()); context. write ( word, one); } } }
3.2 reducer.java ¶
- new
- File -> new -> reducer
- create
source
folder-> 輸入: icas/src
Package : Sample
Name -> : reducer
- modify
package Sample; import java.io.IOException ; import org.apache.hadoop.io.IntWritable ; import org.apache.hadoop.io.Text ; import org.apache.hadoop.mapreduce.Reducer ; public class reducer extends Reducer< Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce ( Text key, Iterable< IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0 ; for ( IntWritable val : values) { sum += val. get (); } result. set ( sum); context. write ( key, result); } }
- File -> new -> Map/Reduce Driver
3.3 WordCount .java (main function) ¶
- new
建立WordCount.java,此檔用來驅動mapper 與 reducer,因此選擇 Map/Reduce Driver
- create
source
folder-> 輸入: icas/src
Package : Sample
Name -> : WordCount.java
- modify
package Sample; import org.apache.hadoop.conf.Configuration ; import org.apache.hadoop.fs.Path ; import org.apache.hadoop.io.IntWritable ; import org.apache.hadoop.io.Text ; import org.apache.hadoop.mapreduce.Job ; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat ; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat ; import org.apache.hadoop.util.GenericOptionsParser ; public class WordCount { public static void main ( String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser( conf, args) . getRemainingArgs (); if ( otherArgs. length != 2 ) { System. err . println ( "Usage: wordcount <in> <out>" ); System. exit ( 2 ); } Job job = new Job( conf, "word count" ); job. setJarByClass ( WordCount. class ); job. setMapperClass ( mapper. class ); job. setCombinerClass ( reducer. class ); job. setReducerClass ( reducer. class ); job. setOutputKeyClass ( Text. class ); job. setOutputValueClass ( IntWritable. class ); FileInputFormat. addInputPath ( job, new Path( otherArgs[ 0 ])); FileOutputFormat. setOutputPath ( job, new Path( otherArgs[ 1 ])); System. exit ( job. waitForCompletion ( true ) ? 0 : 1 ); } }
- 三個檔都存檔後,可以看到icas專案下的src,bin都有檔案產生,我們用指令來check
$ cd workspace/icas $ ls src/Sample/ mapper.java reducer.java WordCount.java $ ls bin/Sample/ mapper.class reducer.class WordCount.class
四、測試範例程式 ¶
- 右鍵點選WordCount.java -> run as -> run on Hadoop
五、結論 ¶
- 搭配eclipse ,我們可以更有效率的開發hadoop
- hadoop 0.20 與之前的版本api以及設定都有些改變,因此hadoop 環境的設定,需要看hadoop 0.20 的quickstart ; 而如何使用 hadoop 0.20 的api,則可以看 /opt/hadoop/src/example/ 裡面的程式碼來提供初步的構想
发表评论
-
Hadoop的Secondary NameNode方案
2012-11-13 10:39 1283http://book.51cto.com/art/20120 ... -
hadoop
2011-10-08 12:20 1105hadoop job解决 ... -
hadoop作业调优参数整理及原理
2011-04-15 14:02 13111 Map side tuning 参数 ... -
Job运行流程分析
2011-03-31 11:04 1672http://www.cnblogs.com/forfutur ... -
hadoop作业运行部分源码
2011-03-31 10:51 1417一、客户端 Map-Reduce的过程首先是由客户端提交 ... -
eclipse中编译hadoop(hive)源码
2011-03-24 13:20 3419本人按照下面编译Hadoop 所说的方法在eclipse中编 ... -
Configuration Parameters: What can you just ignore?
2011-03-11 15:16 865http://www.cloudera.com/blog/20 ... -
7 Tips for Improving MapReduce Performance
2011-03-11 15:06 1004http://www.cloudera.com/blog ... -
hadoop 源码分析一
2011-02-22 15:29 1204InputFormat : 将输入的 ... -
hadoop参数配置(mapreduce数据流)
2011-01-14 11:08 2902Hadoop配置文件设定了H ... -
混洗和排序
2011-01-05 19:33 3250在mapreduce过程中,map ... -
hadoop中每个节点map和reduce个数的设置调优
2011-01-05 19:28 8377map red.tasktracker.map.tasks. ... -
hadoop profiling
2010-12-20 20:52 2637和debug task一样,profiling一个运行在分布 ... -
关于JVM内存设置
2010-12-20 20:49 1351运行map、reduce任务的JVM内存调整:(我当时是在jo ... -
HADOOP报错Incompatible namespaceIDs
2010-12-14 12:56 1008HADOOP报错Incomp ... -
node1-node6搭建hadoop
2010-12-13 18:42 1127环境: node1-node6 node1为主节点 ... -
hadoop启动耗时
2010-12-07 17:28 1321http://blog.csdn.net/AE86_FC/ar ... -
namenode 内部关键数据结构简介
2010-12-07 16:35 1283http://www.tbdata.org/archiv ... -
HDFS常用命令
2010-12-04 14:59 1314文件系统检查 bin/hadoop fsck [pa ... -
HDFS添加和删除节点
2010-12-04 14:45 2014From http://developer.yahoo.co ...
相关推荐
Hadoop是一种能够存储和处理大量数据的分布式计算框架,而HBase则是在Hadoop之上构建的一个分布式列式存储系统。本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式...
hadoop初学者的福音,包含已经安装好hadoop0.20的CentOS7,在vmware下可以直接导入,运行成功;已经配置好的hadoop0.20;windows下用eclipse开发用的插件及对应的eclipse版本;hadoop的入门程序WordCount.java;还有...
Hadoop 0.20 API 0.20版本新增加了mapreduce包,性能得到很大提高。
hadoop 0.20.203.0 api.chm ,自己手工制作的文档
Hadoop 0.20.205.0 API 官方CHM版,根据Apache官方文档生成的chm版的文档,绝对原汁原味!
- **标题**:“hadoop-0.20_程式设计.pdf” - **描述**:“hadoop-0.20_程式设计.pdf” - **标签**:“hadoo” - **部分内容**:文档介绍了Hadoop 0.20版本中MapReduce的基本概念、设计动机、架构以及实际应用案例。...
加入依赖的 class文件的hadoop eclipse插件,不会再出现异常,大家也可以DIY,网上有简单的教程,只收一个劳务分吧
hadoop使用sqoop-1.2.0-CDH3B4.tar.gz需要将此包的hadoop-core-0.20.2-CDH3B4拷贝到sqoop/lib目录下
1. **hadoop程式開發.docx**:可能详细介绍了Hadoop程序开发的步骤、最佳实践,或者包含了一些示例代码。 2. **实验.docx**:可能包含了Hadoop相关的实验指导,例如设置Hadoop环境、执行MapReduce任务等,帮助读者...
Hadoop 0.20.203.0 API 帮助文档
hadoop-0.20.203.0的eclipse插件: hadoop-eclipse-plugin-0.20.203.jar
从标题“hadoop mr程序0.20之后版本所需jar包”可以看出,这里关注的是Hadoop MapReduce在0.20版本之后的版本,特别是与运行MR(MapReduce)程序相关的JAR包。描述进一步强调了这些JAR包是针对执行MR任务所必需的。...
03-流量求和mr程序开发.avi 04-hadoop的自定义排序实现.avi 05-mr程序中自定义分组的实现.avi 06-shuffle机制.avi 07-mr程序的组件全貌.avi 08-textinputformat对切片规划的源码分析.avi 09-倒排索引的mr实现...
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
文档为PPT,与百度文库里的Hadoop大数据开发基础为一套,里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
HadoopLZO Hadoop-LZO是一个将可拆分LZO压缩引入Hadoop项目。 由于LZO具有速度和压缩大小的优点,因此它是Hadoop理想压缩格式。 但是,LZO文件本身不是可拆分的,这意味着作为Hadoop核心的并行性已不复存在。 该项目...
### Hadoop开发环境搭建知识点详解 ...综上所述,通过搭建Hadoop开发环境并使用HadoopEclipse插件,开发者可以更加高效地开发和管理Hadoop程序。这不仅简化了开发流程,还提高了程序的可维护性和扩展性。