Ubuntu上“单节点”方式运行Hadoop (Running Hadoop 1.5.3 on Ubuntu in Single-node cluster)

对于程序员，在开发中以single-node cluster的方式建立Hadoop环境是很好的选择，只需在在一台PC上就能模拟Hadoop的集群环境，何乐而不为？本文Step-by-Step 讲述了Single-node cluster hadoop环境的配置，参考了http://www.michael-noll.com/wiki /Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29一文。

JAVA 6

首先，请确保您的java-1.6(1.5 以上)已经安装成功，JAVA_HOME也已经设置。

添加一个专门的Hadoop用户

推荐使用专门的系统用户使用Hadoop，因为这样可以隔离开其他的应用软件的安装以及本机上的其他的用户(考虑到: 安全, 权限设置, 备份, 等等).

建立名为hadoop的用户

$ sudo addgroup hadoop

$ sudo adduser --ingroup hadoop hadoop

配置SSH

这一步是必须的，Hadoop使用SSH的方式管理其节点，即使在single-node方式中也需要对其进行配置。否则会出现“connection refused on port 22”错误.

在此之前，请确保您已经安装了SSH，如果没有，可以使用

$ sudo apt-get install openssh-server

下载并安装。

而后，我们为hadoop用户产生一个SSH密钥

  young@ubuntu:~$ su - hadoop

  hadoop@ubuntu:~$ ssh-keygen -t rsa -P ""

  Generating public/private rsa key pair.

  Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

  Created directory '/home/hadoop/.ssh'.


  Your identification has been saved in /home/hadoop/.ssh/id_rsa.


  Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.


  The key fingerprint is:


  9d:47:ab:d7:22:54:f0:f9:b9:3b:64:93:12:75:81:27 hadoop@ubuntu


  hadoop@ubuntu:~$




第二行命令会创建一个 RSA 密钥对，此时密码为空. 一般而言, 不推荐使用空密码, 但是你总不想每次Hadoop和它的节点交互时，都要经历密码的检验的吧，所以这里设置为空


然后,你需要使用新创建的密钥可以SSH访问你的本地机器。 


hadoop@ubuntu:~$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys


最后，测试SSH通过Hadoop user连接本地机器


  hadoop@ubuntu:~$ ssh localhost


  The authenticity of host 'localhost (127.0.0.1)' can't be established.


  RSA key fingerprint is 76:d7:61:86:ea:86:8f:31:89:9f:68:b0:75:88:52:72.


  Are you sure you want to continue connecting (yes/no)? yes


  Warning: Permanently added 'localhost' (RSA) to the list of known hosts.


  Ubuntu 7.04


  ...


  hadoop@ubuntu:~$


如果出现错误，如 ssh connect to host localhost port 22: connection refused，一般是openssh-server未安装造成的。


如果其他错误，你可以使用  ssh -vvv localhost  来查看错误的细节，然后google吧……

安装Hadoop

解压缩

你须下hadoop 0.15.3.tar.gz 并且解压缩Hadoop包到你喜欢的路径下。我选择/usr/local/hadoop .确保修改所有的文件的所有属性为Hadoop用户和组，如下:

$ cd /usr/local

$ sudo tar xzf hadoop-0.14.2.tar.gz

$ sudo mv hadoop-0.14.2 hadoop

$ sudo chown -R hadoop:hadoop hadoop

配置hadoop-env.sh

打开<Hadoop_install>/conf/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.6-sun（正确的JAVA_HOME路径）

配置hadoop-site.sh

打开<Hadoop_install>/conf/hadoop-site.sh

加入

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>

<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

格式化 namenode

$ cd hadoop - 0.15.3

$ bin/hadoop namenode -format

启动单机节点群

$ <HADOOP_INSTALL>/bin/start-all.sh

成功后，使用jps查看，如果成功，则显示


  hadoop@sea:/usr/local/hadoop/$ jps


  19811 TaskTracker


  19674 SecondaryNameNode


  19735 JobTracker


  19497 NameNode


  20879 TaskTracker$Child


  21810 Jps

NOTICE: 现在Hadoop的版本已经更新到0.2，配置文件有了变化，如hadoop-site.xml就不再使用了，好像被hadoop-core.xml替代了，但是文档还没有更新……ummm……不过配置也是差不多的，先不多说了

评论

3 楼 jimmee 2010-09-24  

在Windows下部署hadoop前，都需要安装cygwin软件，那么我们先来看一下，如何安装和配置cygwin

一、cygwin的安装与配置

  1、什么是cygwin
　cygwin是一个在windows平台上运行的unix模拟环境，是cygnus solutions公司开发的自由软件（该公司开发了很多好东西，著名的还有eCos，不过现已被Redhat收购）。它对于学习unix/linux操作环境，或者从unix到windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用gnu工具集在windows上进行嵌入式系统开发，非常有用。随着嵌入式系统开发在国内日渐流行，越来越多的开发者对cygwin产生了兴趣。
2、cygwin的安装
  （1）下载安装程序，下载地址为： http://www.cygwin.com/setup.exe
   (2)选择必须安装的包,根据实践有如下包必须选择安 装，否则很可能cygwin安装失败！
   Net Category下的OpenSSL，OpenSSH;
   Base Category下的sed;
   Editors Category下的vim,Emacs;
   Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb

(3)点击下一步。一直到完成
   说明：虽然cygwin提供在线安装，个人建议先  完全下载到本地，再进行安装，因为在线安装会出现许多莫名奇妙的问题。

2、cygwin的配置
（1）配置环境变量
CLASSPATH= .;C:\Java\jdk1.6.0_11\lib\dt.jar;C:\Java\jdk1.6.0_11\lib\tools.jar
  CYGWIN=ntsec;
JAVA_HOME=C:\Java\JDK1.6.0_11;C:\Java\jre6;
在PATH环境变量中加入如下路径C:\cygwin\bin;C:\cygwin\usr\i686-pc-cygwin\bin;C:\Java\jdk1.6.0_11\bin;

（2）安装sshd服务
    启动cygwin输入命令：ssh-host-config;
    根据提示进行相应的操作直至安装完成，安装成功后立即启动名称为“CYGWIN sshd”的服务。

（3）配置ssh登录
      执行ssh-keygen命令，然后根据提示按三次回车键，最后输入如下命令：
   cd ~/.ssh/;
   cp id_rsa.pub authorized_keys

至此，cygwin的安装与配置成功，你可以享受cygwin带来的乐趣。

2 楼 jimmee 2010-09-24  

2.异常
hadoop@hadoop-desktop:~/hadoop-0.19.0$ hadoop fs -copyFromLocal /home/jme/output.log hdfs://localhost/user/tom/quangle.txt
10/09/24 14:31:52 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
10/09/24 14:31:53 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
copyFromLocal: Call to localhost/127.0.0.1:8020 failed on local exception: Connection refused

修改conf/hadoop-site.xml中9000为8020
<name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>

1 楼 jimmee 2010-09-24  

1. 异常
hadoop@hadoop-desktop:~/hadoop-0.19.0$ hadoop fs -copyFromLocal /home/jme/output.log hdfs://localhost/user/tom/quangle.txt
10/09/24 14:20:47 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).
10/09/24 14:20:48 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).

Bad connection to FS. command aborted.

把你DataNode上的DFS数据全删了，再重新格式化NameNode即可。