Fedora13伪分布式模式安装Hadoop

1安装Linux系统，在这里安装的是Fedora13

创建用户的用户名为：ssj

2安装openssh-server：

yum install openssh-server

如果已经安装则跳过。

3建立ssh无密码登录：

（1）在namenode上面实现无密码登录：

       ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

      直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。这两个是成对
现，类似钥匙和锁。

      再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_keys文件 ) ：

      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 。

       完成后可以实现无密码录本机： $ ssh localhost 。

若此时连接不上，检查sshd服务是否打开。可以用命令：service sshd start开启服务

（2）实现 NameNode 无密码登录其他 DataNode ：（注：在这里我是单机安装，本机既是namenode，又是datanode。所以这步跳过。）
NameNode 上的 id_dsa.pub 文件追加到 dataNode 的 authorized_keys 内 ( 以
8.0.3 节点为例 ) ：
拷贝 NameNode 的 id_dsa.pub 文件：
scp id_dsa.pub hexianghui@192.168.0.3:/home/ssj/
登录 192.168.0.3 ，执行 $ cat id_dsa.pub >> .ssh/authorized_keys
他的 dataNode 执行同样的操作。
意： 如果配置完毕，如果 namenode 依然不能访问 datanode ，可以修改 datanode 的
ized_keys ： $ chmod 600 authorized_keys 。



4.关闭防火墙：

在终端中输入：service iptables stop（最好把selinux也关掉）

5.安装jdk1.6：

这里是安装目录是：/home/ssj/cloud/ jdk1.6.0_21,安装完成后，在/etc/profile中加入：

export JAVA_HOME=/home/ssj/jdk1.6.0_21

export JRE_HOME=/home/ssj/jdk1.6.0_21/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

6.安装hadoop：

下载hadoop-0.20.2.tar.gz,解压：tar -zvxf hadoop-0.20.2.tar.gz

在这里，解压目录为：/home/ssj/cloud/hadoop-0.20.2，然后在/etc/profile里面加入：

export HADOOP_HOME=/home/ssj/hadoop-0.20.2

export PATH=$HADOOP_HOME/bin:$PATH

7.配置hadoop：

hadoop 的主要配置都在 hadoop-0.20.2 /conf 下。
(1) 在 conf/hadoop-env.sh 中配置 Java 环境 (namenode 与 datanode 的配置相同 ) ：
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/ssj/jdk1.6.0_21
(2) 配置 conf/masters 和 conf/slaves 文件 只在 namenode 上配置 )
masters: localhost

slaves:localhost

注意：因为这是在单机上，则都配置成localhost，若有多台节点机，则masters配置用作masters的机器ip，而slaves则配置多个slaves的ip。

(3) 配置 conf/core-site.xml, conf/hdfs-site.xml 及 conf/mapred-site.xml( 简单 配
置， datanode 的配置相同，在这里只配置localhost，因为只有一台机子)
core-site.xml:
<configuration>
<!--- global properties -->
<property>
<name> hadoop.tmp.dir </name>
<value> /home/hexianghui/tmp </value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name> fs.default.name </name>
<value> hdfs://localhost:9000 </value>
</property>
</configuration>

hdfs-site.xml replication 默认为 3 ，如果不修改， datanode 少于三台就会报错 )
<configuration>
<property>
<name> dfs.replication </name>
<value> 1 </value>
</property>
</configuration>

mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value> localhost:9001 </value>
</property>
</configuration>

8.运行hadoop

进入 hadoop-0.20.1 /bin ，首先格式化文件系统： $ hadoop namenode – format
启动 Hadoop ： $start-all.sh

用jps命令查看进程：

[root@localhost cloud]# jps
2733 TaskTracker
2672 JobTracker
2610 SecondaryNameNode
3927 Jps
2486 NameNode
2547 DataNode

查看集群状态： $ hadoop dfsadmin -report
Hadoop 的 web 方式查看： http://localhost:50070

至此，安装完成。