hadoop实战-03.ubuntu 14.0 安装hadoop 1.0.2

到官网下载 hadoop 1.0.2 ，解压放到想要的目录下：我这里是放在/home/vinking 下面

#sudo tar xzfv hadoop-1.0.2.tar.gz    

将解压的文件名改成hadoop 比较容易记 /home/vinking/hadoop

 

1.配置 hadoop-env.sh(Java 安装路径)

#cd /home/vinking/hadoop

#sudo vi conf/hadoop-env.sh

打开文件 按i进入编辑模式，插入下面几行

export JAVA_HOME=/usr/lib/jvm/jdk (这个有点问题，后面运行的时候有做修改)

export HADOOP_INSTALL=/home/vinking/hadoop ( 这里用的HADOOP_INSTALL,而不是HADOOP_HOME，网上找到的说法是：因为在新版中后者已经不用了。若用，会有警告)

export PATH=$PATH:/home/vinking/hadoop/bin

按esc，shift+：,接着按x (这里说明一下因为本人不懂vi的用法，还特意问了同事怎么使用，感觉有点难用)

结果如下图

 #source /home/vinking/hadoop/conf/hadoop-env.sh

提示出错，应该是我的JAVA_HOME设置出问题，在 /usr/lib/jvm/jdk 里面其实并没有bin这个文件夹

之前在hadoop-env.sh里面我的设置是这样的 JAVA_HOME=/usr/lib/jvm/jdk，应该是有问题。
找同事帮忙啦，然后发现 系统自动创建了一个 /usr/bin/java

我设置的是在 /usr/lib/jvm/jdk  但其实是在 /usr/lib/jvm/jdk/jdk1.6.0_30/bin，就是多了几层的目录

同事的建议是 将 /usr/bin/java 作为 /usr/lib/jvm/jdk/jdk1.6.0_30/bin的快捷方式，这样查找设置都比较方便，其实下面这个命令我真的看不懂。

然后重新配置 hadoop-env.sh 里面的 JAVA_HOME ，export JAVA_HOME=/usr

#hadoop version

哈哈，终于安装成功，其实整个过程还是有很多linux的问题，自己无法查找和解决问题，需要继续学习。

上面这个是单机模式

 

2.试运行：(下面这个例子是网上找的啦)

现在运行一下hadoop自带的例子WordCount来感受以下MapReduce过程：

在hadoop目录下新建input文件夹

#mkdir input

将conf中的所有文件拷贝到input文件夹中

#cp conf/* input 

运行WordCount程序，并将结果保存到output中

#bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output 

会看到conf所有文件的单词和频数都被统计出来。

#cat output/*

上面运行WordCount这个功能的时候，开始的时候也是出错了，也是删除文件夹重新运行整个过程，可能在某些地方出现问题。

上面的安装过程 我自己折腾了很久，最主要的原因还是linux不熟悉，要继续学习啊。