Hadoop on Windows With Eclipse（伪分布式）

http://blog.csdn.net/elvis_dataguru/article/details/8962168

 

1介绍

Hadoop是一个强大的架构,用于自动并行化的计算任务。不幸的是某些编程对于它是个挑战。Hadoop程序让人难以理解和调试。有一种方法可以在开发人员的机器上本地运行一个简化版的Hadoop集群使之更容易一些。本教程描述如何设置这样一个集群运Windows平台上。它还描述了如何使用Eclipse集成这个集群,一个主要的Java开发环境。

2.安装前的准备

在我们开始之前，要确保以下组件安装在了你的机器上。

l  Java 1.7.0_17

l  Eclipse-SDK-4.2.2

注：本教程测试环境是Hadoop1.0.4版本，如果你使用的是其他版本可以酌情去安装

    为了确保不出现问题，建议都使用最新版本，我这两个版本都是最新下载的。

2.1 安装Cygwin

  安装完预安装软件后，下一步就是安装Cygwin环境。Cygwin是一个组从Unix上移植到Windows的包。因为Hadoop都是写在Unix平台上的，所以用Cygwin提供Hadoop的运行环境。

  安装cygwin环境有以下步骤：

1)        首先从http://www.cygwin.com网站下载所需的安装文件

2)        点击下载文件，你会看到如下的截图-本教程版本为1.7.17-1版本

CygwinInstaller

3） 当你看到上面的截图的时候，点击下一步按钮你会看到屏幕上有选择包的界面。要确保你选择了net category里的”openssh”。这个包是确保Hadoop集群正常运作和Eclipse的插件。

 

4）你选择完这些包后，点击下一步，完成安装。

3.设置环境变量

  下一步是设置路径环境变量，以至于Eclipse IDE可以访问Cygwin命令。

  设置环境变量需要以下步骤：

1）  我的计算机右键->属性

2）当你看到这个属性对话框,点击环境变量按钮如下所示

 

  3）当环境变量对话框出现时,单击路径变量位于系统变量栏,然后单击Edit按钮。

 

  4）当编辑对话框在Path末尾添加以下文本

$ ;d:\cygwin\bin;d:\cygwin\usr\sbin

     注：这个路径要根据你cygwin安装到那个目录

  5）OK！！！

4 设置SSH守护进程

   两个Hadoop的脚本和Eclipse的插件需要无密码的SSH来操作。本节描述了在Cygwin环境如何设置。

4.1 配置ssh

  Xp下：

  1）打开Cygwin命令

  2）执行如下命令

$ ssh-host-config

  3) when asked “Shouldprivilege separation be used”, answer yes.

 4) When asked “new local account 'sshd'”, answer yes.

  5) When asked “(Say "no" if it is already installed as a service)”,answeryes.

  6) When asked Enter”the valueof CYGWIN for the daemon”, enter ntsec.

 7)When asked “Do you want to use a differentname?”,answeryes.

  8)输入密码

 9)下面是一个示例会话的命令。

 

4.2 开启ssh服务

第一种方法：直接输入命令

$ net start sshd 或者 cygrunsrv –S sshd

第二种方法：图形化操作

  1）在你的桌面或者开始菜单里找到”我的计算机”,然后鼠标右键选择管理。

  2）在左边的面板展开服务和应用程序，然后选择服务选项。

  3）找到CYGWIN sshd 选项，然后鼠标右键

  4）在菜单栏点击开启。

 

Win7下比较麻烦：

如果win7也按照跟xp一样的安装，就算你运行cygwin以管理员权限运行，到最后估计一样会报错，反正我这是这样子的，服务可以起来，但在最终密钥什么的都配置完成后执行会报：

Elvis@Elvis-PC ~

$ssh localhost

connection closed by ::1

后来针对这个问题我找了N多资料，主要是E文，难为我了，其中有官网的FQA里的文章还有很多国外的博客吧！具体连接我也搞乱了，就不贴出来了，根据几篇资料方法总结如下：

1）  如果你安装了SSH（估计很多都安装了然后发现有错误），可以按以下命令卸载：

 

<pre name="code" class="plain">$net stop sshd
$ cygrunsrv-R sshd
$net user sshd /DELETE  # See note below
$ rm-R /etc/ssh*
$mkpasswd -cl > /etc/passwd
$mkgroup --local > /etc/group</pre>
<pre></pre>
<pre></pre>

2）  决定一个用来运行sshd进程的用户，相信使用win7的同学肯定都至少会有一个非Administror用户，我的环境现在就是平时都使用Elvis用户具有管理员权限。而下一步需要执行的命令是必须要Administrator才有权利执行的，而管理员用户一般都是被禁的，具体怎么开启请看我博客里的一篇帖子：

http://blog.csdn.net/elvis_dataguru/article/details/8739987

3)        使用管理员用户执行以下命令来查看用户现在所具有权限（或者说叫许可？）

$ editrights -l -u Elvis

4)        估计大家上述命令执行后肯定没有我们现在所需要的权限，执行以下命令来增加吧！

$ editrights.exe -a SeAssignPrimaryTokenPrivilege -u Elvis
$ editrights.exe -a SeCreateTokenPrivilege -u Elvis
$ editrights.exe -a SeTcbPrivilege -u Elvis
$ editrights.exe -a SeServiceLogonRight -u Elvis

  5)做完这些后，可以注销进入Elvis用户下继续操作，而后面的操作动作与前面xp下安装过程一样了，就不在详述了。

4.3 建立权限密钥

  Eclipse插件和Hadoop的脚本都需要通过权限密钥ssh权限来执行而不用密码了。以下步骤就是描述怎么建立权限密钥。

1）  打开cygwin终端

2）  执行以下命令生成密钥

$ ssh-keygen

3)      当提示输入文件名等直接ENTER接受默认值

4)      命令完成后生成密钥，输入以下命令到.ssh目录

$ cd ~/.ssh

5)      执行以下命令查看密钥是否真的生成

$ ls -l

      你应该能看到两个文件id_rsa.pub和id_rsa，看生成日期是最近生成的。这些文件中包含权限密钥。

6)      执行以下命令注册到新的authorization_keys文件中。

$ cat id_rsa.pub >> authorized_keys

7)      现在输入以下命令验证密钥是否正确

$ ssh lcoalhost

因为它是一个新的ssh安装,你将会被警告,主机无法确认你是否真的想连接。输入YES并且按ENTER。你会看到Cygwin在一次执行，那意味着你成功连接了。

  8）现在再次执行下面命令：

$ ssh lcoalhost

 

 

Setting upauthorization keys

5.下载，复制和解压Hadoop

   1）下载hadoop 1.0.4并且放到你指定的文件夹里比如我的放在了D:\java。

   2）打开Cygwin

   3）执行以下命令

 

$ cd

 

4)执行下面命令直接在windows上以窗口形式打开home目录

$ explorer .

 

5)        把hadoop安装文件copy到你的Home目录下。

6. 解压Hadoop安装包

   解压安装包有以下步骤：

1）  打开一个新的Cygwin

2）  执行以下命令

 

$ tar –zvxf hadoop-1.0.4.tar.gz

 

 3) 解压完后，执行以下命令

 

$ ls -l

 

     这个命令列出home目录下的内容。你应该能看一个新生成的文件hadoop-1.0.4

4）下一步执行以下命令：

$ cd hadoop-1.0.4
$ ls -l

如果你与下面相似的信息，就说明你解压成功了，可以进行下一步

 

7. 配置Hadoop

  1）开启一个Cygwin窗口并且执行以下命令：

 

$ cd hadoop-1.0.4
$ cd conf
$ explorer .

 

  2) 最后一个命令打开了Explorer窗体进入到conf文件夹

  3）配置hadoop-env.sh文件

 

export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.7.0_02

   知识补充：   注：因为我的Java安装目录Program Files有空格，所以用缩写成Progra~1

 

  4）然后使用编辑软甲打开，我就用UE了，也可以使用eclipse来打开，主要是编辑core-site.xml、mapred-site.xml和hdfs-site.xml

  5）在3个文件中<configuration>和</configuration>里插入以下内容

    

core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>  

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

hdfs-site.xml

<property>      

<name>dfs.http.address</name>

<value>localhost:50070</value>

</property>

<property>      

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/namenode</value>

</property>

<property>      

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>   

注：在目录/usr/local目录下创建一个hadoop文件夹，这个是根据你前面配置中制定的namenode和datanode而定。

    还有就是localhost最好直接写成ip地址，我写的是电脑本机的ip:10.60.115.150

8.格式化namenode

  1）打开Cygwin，执行以下命令

$ cd hadoop-1.0.4
$ mkdir logs
$ bin/hadoop namenode -format

  2) 最后一个命令产生的输出

 

现在文件系统已经创建，可以继续下一步工作。

9.安装Hadoop插件

 1）通过以下命令，打开eclipse-plugin文件夹

 

$ cd hadoop-1.0.4
$ cd contrib.
$ cd eclipse-plugin
$ explorer .

 

   2) 然后把里面的hadoop-x.x.x-eclipse-plugin.jar拷贝到eclipse安装包里的plugin目录里

注：但本次教程的hadoop-1.0.4里面没有，所以我从网上找到了这个jar直接拷贝到eclipse内plugin目录里

3）  启动eclipse

4) 打开Window->OpenPerspective->other->Map/Reduce

然后在打开Window->Show View->Other 搜索mapreduce视图

5)如图IDE

 

6)        配置Hadoop的安装目录

 

现在Hadoop安装和配置完了，还有eclipse的插件，下一步拿一个小Project测试下。

10.测试集群

10.1开启本地hadoop集群

1）开启5个Cygwin，然后分别执行以下命令：

Window1：
$ cd hadoop-1.0.4
$ bin/hadoop namenode
Window2：
$ bin/hadoop secondarynamenode
Window3:
$bin/hadoop jobtracker
Window4:
$bin/hadoop datanode
Window5:
$bin/hadoop tasktracker
或者：直接输入以下命令
$bin/start-all.sh

这个时候进群起来了，进行下一步。

注：这个时候前3个窗口可能是一直卡在某个地方，这个是正常现象无需担心，也可以在后面加上”&”使进程在后台运行，不在详述，感兴趣的同学可以自行查阅Linux关于”&”的用法

10.2 在Eclipse建立本地Hadoop

1）在切换到Map /Reduce的角度来看,选择Map / Reduce位置选项卡下面的Eclipse环境。然后单击空白空间右键选项卡并选择“新Hadoop位置....“从上下文菜单。您应该会看到一个对话框所示类似。

 

3）  填入项目，以下所示：

Location Name – localhost   --当然这个自己可以随便起名

Map/Reduce Master     --一定要与mapred-site.xml里面一致

Host –10.60.115.150

Port – 9001    

DFS Master

Check "Use M/R Master Host"  --要与core-site.xml里一致

Port -- 9000

User name – Elvis

然后点击完成。

4） 然后你会看到IDE

 

5）  可以通过eclipse直接copyfromlocal数据。

6）  到这里，在Win下的Hadoop伪分布式集群构建完毕了+Eclipse的配置

10.3 hello测试

  用Hadoop自带的WordCount实例可以统计一批文本文件中各单词出现的次数。

1）  首先先做以下动作

$ mkdir input
$ cd input
$ echo “hello world” > test1.txt
$ echo “hello hadoop”> test2.txt
$ cat test1.txt #可以使用这个命令查看文件内容
$ bin/hadoop dfs –put ../input in
$ bin/hadoop dfs –ls in
$ bin/hadoop jar hadoop-examples-1.0.4.jar wordcount in out
$ bin/hadoop dfs –cat out/*