Hadoop 集群安装

高清视频地址：http://v.gotomao.com/video-search?q=hadoop

第一部分：环境规划

•用户 test 密码 test

•机器

主机名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTraker Sencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

•NameNode元数据目录

•/home/test/dfs/namenode

•DataNode 数据存放目录

•/home/test/dfs/datanode

•Sencondary NameNode

•/home/test/dfs/sencondnode

            

           

第二部分：安装JDK并配置环境变量

安装 JDK 并配置环境变量

 

•2 台机器做同样的事情

•更改执行权限

•chmod +x jdk-6u24-linux-i586.bin

•安装

•./jdk-6u24-linux-i586.bin

•配置环境变量

•Home路径下，打开.bashrc文件，命令如下

•vi .bashrc

•添加JAVA环境变量

•export JAVA_HOME=/home/hadoop/java

•export PATH=$JAVA_HOME/bin:$PATH

 

 

第三部分：建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

             

      

第四部分：安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

•解压Hadoop，到/home/test路径下

• tar zxvf hadoop-1.0.0.tar.gz

•建立软连接

•ln –s   hadoop-1.0.0  hadoop

•配置环境变量

•vi  .bashrc

•添加如下内容

          export HADOOP_CORE_HOME=/home/test/ hadoop

          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

 

 

第五部分：配置Hadoop集群

core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://bigdata-1:9000</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

        <value>/home/test/dfs/sencondnode</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

            <name>dfs.name.dir</name>

     <value>/home/test/dfs/namenode </value>

</property>

<property>

             <name>dfs.data.dir</name>

             <value> >/home/test/dfs/datanode</value>

</property>

<property>

      <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

  

mapred-site.xml

<configuration>

<property>

  <name>mapred.job.tracker</name>

  <value>bigdata-1:9001</value>

</property>

</configuration>

master与slaves

•master

     文件添加内容如下

                   bigdata-1

•    Slaves

     文件添加内容如下

                    bigdata-2

Hadoop-env.sh

•export JAVA_HOME=/home/tes/soft/java

 

第六部分：启动Hadoop集群

启动Hadoop集群

•hadoop namenode -format

•start-all.sh

•start-dfs.sh start-mapred.sh

•hadoop-deamon.sh start  namenode

                                              datanode

                                              jobtracker

                                              tasktracker

                                              sencondnamenode

  

第七部分：测试WordCount 程序 

测试WordCount 程序

•hadoop fs –mkdir input

•hadoop fs –put test.txt input

•hadoop jar  hadoop-examples-*.jar   wordcount  input output