hadoop虚拟机centOS安装过程(伪分布式)

伪分布式模式安装

 

     学习hadoop有一段时间,中间忙了很久没看过,虚拟机的hadoop也被删除了,之前装的是hadoop集群环境,        都是使用虚拟机,因为集群环境多配置,暂先将配置伪集群方式搭建起来使用,其使用的原理都是一样的,后面      有时间再把真实集群搭建一次,下面是我搭建的步骤:

      我是win7 64位系统,但因centOS 64位尚未下载,先装32位的

先说下准备的软件(32位):

1.虚拟机 : wmWare10

2.Linux系统 : CentOS-6.4-i386-bin-DVD

3.JDK : jdk-7u45-linux-i586.rpm

4.远程连接:secureCRT,因每次到虚拟机操作有点麻烦而且速度慢

 

上面的1,2软件安装就不说了,很简单直接安装即可,系统安装完成后设置网络连接,让其接通的即可.

 

3. 安装JDK,网上文档很多,简单提下,推荐使用1.6版本, 因为hadoop是在1.6下经过测试通过的,

3.1  先验证源系统是否存在自带jdk : 

# rpm -qa|grep gcj

之前是否已安装过jdk,最好卸载后重装,保证jdk完整

#rpm -qa|grep jdk

 

上述命令若有返回值则使用rpm -e --nodeps 命令删除上面查找的内容;

 

3.2  整理清楚jdk后使用

       rpm -ivh jdk-6u24-linux-i586.rpm 命令即可,

       若是jdk-6u24-linux-i586.bin文件,直接前面加点(./文件名)执行,如无权限再赋予即可,

如果没有报错说明安装成功,默认的安装路径是在/usr/java路径下;以后配置会用到这个路径,将其目录名修改为 jdk6, 接下来就是和windows一样要配置环境变量:

编辑文件# /etc/profile,在空白的地方加入以下内容:

export JAVA_HOME=/usr/java/jdk6

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

3.3  然后命令 #source /etc/profile 使其生效;最后使用java -version验证是否安装配置成功;

 

 4. 关闭防火墙,此操作不是必须的,只是为了减少学习过程中避免无谓的错误,而选择关闭防火墙,防火墙的目的是关闭尽可能不用的端口,避免恶意攻击,保证安全性,在实际工作中也不可能把防火墙关闭.

使用命令 # service iptables status 查看防火墙状态,

使用命令 # service iptables stop 关闭防火墙;

 

5.修改主机名和设置DNS解析，

     5.1 修改主机名称, 命令 #vi /etc/sysconfig/network       =>       HOSTNAME=hadoop

          显示效果可以重启系统, 看最左边盘符

    5.2 hadoop集群之前通过主机名来互相访问,需设置域名解析,与window是文件名一样,

编辑文件 # vi /etc/hosts ,在最后新增一行,例如192.168.0.201 hadoop;

 

6.设置SSH免密码登录,如果需要远程管理其他机器,传统只能使用命令telnet访问,但其通信不加密致使不安全,只能在内网直接访问,解决这个问题退出了ssh加密通信协议 SSH(Secure Shell), 使用非对称加密方式,传输内容使用rsa或的dsa加密,因每次ssh通信需要登录,所以需配置免密码登录:

6.1 先到主目录下,命令 # cd ~,可以看到.ssh隐藏文件夹,其是用来存放密钥的;

6.2 命令 # ssh-keygen -t rsa , 前一横杠是没有空格的 ,回车后还会有3次的输入信息,直接再回车就ok;

6.3 命令进入 # cd .ssh , (.ssh的权限是700)看到有2个文件, 命令拷贝 # cp id_rsa.pub authorized_keys 生成授权文件, 3个文件的权限是除了自己有写权限外,其他都是没有的;

6.4 验证ssh登录, 命令 # ssh localhost ,确认后会改变当前用户,多次更换是不需要确认,若需要是配置出错;

 

华丽分割线---------------------------------到此已经成功一半了,下面来安装hadoop系统:

 

1. 将下载好的hadoop1.2.1.tar.gz放到/urs/local下,

     命令解压包到当前 # tar -zxvf hadoop1.2.1.tar.gz , 因为以后配置会用到这个路径,将其目录名修改为hadoop,

2. 配置hadoop环境变量 , 在/etc/profile下新增一行:

    HADOOP_HOME=/usr/local/hadoop

    下面增加 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME

    记得修改profile文件都需要重新加载 # source /etc/profile

3. 修改hadoop的内部配置文件:

    1. hdfs-env.sh

        一般情况下是,修改文件第9行的JAVA_HOME路径;

        export JAVA_HOME=/usr/local/jdk6/

    2. core-site.xml:配置hdfs

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop:9000</value>

        <description>hdfs</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

         <description>hdfs</description>

    </property>  

 

</configuration>

 

    3. hdfs-site.xml:配置hdfs分布数量

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

        <description>MapReduce</description>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

        <description>MapReduce</description>

    </property>

 

</configuration>

 

    4. mapred-site.xml:配置MapReduce

 <configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop:9001</value>

        <description>MapReduce</description>

    </property>

</configuration>

       

 4. 格式化hadoop文件: 只需要一次即可

     命令 $HADOOP_HOME/bin/hadoop namenode -format, 看到输出信息中有successfully format即表示成功, 不成功会有错误信息,根据信息修改后继续执行上命令, 执行成功后,不可多次格式化操作,会引起未知错误,若执行多次,可将hadoop下的tmp目录删除后,重新格式化

 

5. 启动/关闭hadoop:

     到了这里,至少可以恭喜你配置完成,只是完成,还没完整成功,只差最后一步启动了

     hadoop启动提供了多种方式:可以在bin目录下查看命令

     1. 最省事:

         start-all.sh(stop-all.sh) :

             一看就知道是启动全部,一共会有5个java进程启动,NameNode, DataNode,SecondaryNameNode,

             JobTracker, TaskTracker

     2. 分类启动:

          start-dfs.sh(stop-dfs.sh):

                hdfs的启动,只会启动NameNode, DataNode,SecondaryNameNode3个进程

           start-mapred.sh(stop-mapred.sh):

                 MapReduce的启动,只会启动 JobTracker, TaskTracker 2个进程

      3.  单独启动:分别启动5个进程,适用于单独增加/删除节点情景

           hadoop-daemon.sh start namenode

           hadoop-daemon.sh start datanode

           hadoop-daemon.sh start secondarynamenode

               hadoop-daemon.sh start jobtracker

               hadoop-daemon.sh start tasktracker

 

6. 查看hadoop运行情况:

     6.1 使用命令jps查看当前hadoop正在运行的java进程, 对应启动命令查看进程便可以知道是否启动成功 , 一般全量启动一共有5个进程 , 即上述的5个 , 缺少对应的进程说明启动失败, 可以到hadoop下的logs目录查看最新启动的日志

      6.2 浏览器查看: 与访问web项目一样, 下列是默认的端口,若有冲突可以修改

            http://hadoop:50070   查看NameNode的管理信息 , 包括DataNodes的信息

            http://hadoop:50030   查看JobTracker的管理信息, 包括TaskTrackers的信息

 

7. 运行一个系统自带统计单词数量的DEMO:

     7.1  先上传一个文件, 最好是文件大一点的, 命令 hadoop fs -put <fs-dir> , 

     7.2  在fs上创建一个文件夹来放置结果 , 命令 hadoop fs -mkdir result

     7.3  在$HADOOP_HOME下有一个jar包: hadoop-examples-1.2.1.jar , 这是一个已经写好的MapReduce程序, 运行命令 hadoop jar hadoop-examples-1.2.1.jar wordcount <in> <out> , 输入文件绝对路径和输出文件目录, 回车后有一些执行过程信息;

       7.4 完成后在上面指定的输出目录查看结果:

             命令 hadoop fs -text /result/part-r-00000 查看 , 输出目录下包含了运行的日志 , 结果等 ,具体自己一个个查看;

 

       至此, hadoop的伪分布式环境搭建成功 , 后续要继续了解hdfs的命令和自己去熟悉MapReduce的java API , 用其来进行大数据量的计算工作 , 其效率是杠杠的(大文件).