hadoop配置手册

环境：

Hadoop-1 ： 10.10.30.1  （ namehost ： ip ）

Hadoop-2:  10.10.30.2   （ namehost ： ip ）

 

部署步骤（ JDK 安装不在描述）

1，  在每一台服务器上添加 hosts 记录

a)         Vi /etc/resole.conf

                         i.              Hadoop-1          10.10.30.1

                       ii.              Hadoop-2          10.10.30.2

2，  在 hadoop-1 上 ping hadoop-2 ， ping 通正常

3，  在 hadoop-2 上 ping hadoop-1 ， ping 通正常

4，  在每一台机器上分别创建 hadoop 用户（次用户名可自定义）

a)         Useradd hadoop

5，  设置 ssh 免密码登陆

Set 1 Hadoop-1

a)         [hadoop-1@root~]mkdir .ssh

b)         [hadoop-1@root~]ssh-keygen –t rsa

c)         [hadoop-1@root~]cd .ssh

d)         [hadoop-1@root~]cp id_rsa.pub authrized_keys

e)         Authrized_keys   scp 到其他所有的 hadoop 机器上

f)          Scp authrized_keys hadoop-2:/home/  需要输入 hadoop 用户名和密码

Set2 hadoop-2

         a)[hadoop-2@hadoop~]mkdir .ssh

        b)[hadoop-2@hadoop~]cp authrized_keys .ssh

         c)[hadoop-2@hadoop~]chmod 755 .ssh

         d)[hadoop-2@hadoop~]chmod 644 .ssh/ authrized_keys

这一步非常关键，必须保证 authorized_keys 只对其所有者有读写权限，其他人不允许有写的权限，否则 SSH 是不会工作的。

g)         测试是否可无密码登陆

6，   Hadoop 安装

a)         mkdir /home/hadoop/hadoop/tmp

b)         mkdir /home/hadoop/hadoop/data

c)         mkdir /home/hadoop/hadoop/name

d)         将 hadoop 包解压的对应的目录

                         i.              Conf 为 hadoop 所有配置文件的存放位置

                       ii.              vi hadoop/conf/core-site.xml

1.         <name>hadoop.tmp.dir</name>

2.         <value>/home/hadoop/hadoop/tmp</value>   #hadoop 临时目录存放位置

3.           <name>fs.default.name </name>

4.            <value>hdfs://192.168.0.56:7771 </value>  hadoop 对外访问的 ip ： port

                      iii.              vi hadoop/conf/hadoop-env.sh

1.         9 行 export JAVA_HOME=/tools/java 修改对应的 java 目录

                      iv.              vi hadoop/conf/hdfs-site.xml 

1.         <configuration>

2.                 <!--property>

3.                         <name>dfs.name.dir</name>

4.                         <value>/home/hadoop/hadoop/name</value>

5.                 </property-->

6.                 <property>

7.                         <name>dfs.data.dir</name>

8.                         <value>/home/hadoop/hadoop/data</value>

9.                 </property>

10.             <property>

11.                     <name>dfs.replication</name>

12.                     <value>3</value>

13.             </property>

14.      </configuration>

a)         修改想对应 name 和 data 的存放位置，其他不需要修改

                       v.              Vi  hadoop/conf/master   直接添加 hadoop   master 的主机名

                      vi.              Vi  hadoop/conf/slave   直接添加 hadoop    slave 的所有主机名（每个主机一行）

                    vii.              Vi hadoop/conf/mapred-site.xml

1.         <configuration>

2.                 <property>

3.                         <name>mapred.job.tracker</name>

4.                         <value>192.168.0.56:8888 </value>

5.                 </property>

6.         </configuration>

a)         修改 mapred 的工作 ip ： port       

7，  进入 hadoop 的 bin 目录 , sbin/start-dfs.sh 启动

8，  使用 jps 命令查看正常与否

                                                     i.              [root@map1 conf]# jps      master 的 jps 输出

5365 NameNode

5557 SecondaryNameNode

5649 JobTracker