hadoop zookeeper hbase的安装、配置

      在Hadoop还未诞生的那个时代，我们一般通过多线程、多任务分解的方式来尽可能的使用计算机资源，最大限度利用计算资源。而在这个大数据 迅速膨胀的今天，显然这样的处理已经不能满足我们的需求，面对互联网越来越多有价值的数据，如何更好的分析这些数据？如何挖掘其中的内 在价值？这时Hadoop作为一个分布式文件系统(Hadoop Distributed File System),简称HDFS应运而生。让使用者在完全不了解其底层实现细节的情况下，完成对 分布式计算应用的开发。HDFS有高容错性的特点，而且可以部署在低廉的硬件上，但是提供高传输率来访问应用程序的数据。

      Hadoop是根据 google公司发表的MapReduce和Google档案系统的论文自行实践而成。Hadoop实现了MapReduce (任务分解与结果汇总)的编程范式，将应用程序分割成许多小部分，而且每个小部分都能在集群中的任意节点上执行或重新执行。HDFS是用做存储所 有的计算节点的数据，为整个带来了非常高的带宽。MapReduce和HDFS的结合，可以使整个框架能很好地自动处理节点故障。 Apache Hadoop平台包括：Hadoop内核、MapReduce、HDFS以及相关的项目。eg，Apache Hive、Apache HBase、ZooKeeper、Avro etc.

    Hadoop的安装非常简单，目前最新的版本2.5.0 release已经发布。大家可以去官网上下载自己喜欢的版本。本文使用的hadoop-1.1.2。

   Hadoop是为了再Linux平台上使用而开发的，当然在windows、UNIX、甚至是Mac OS X 系统上运行也有良好的表现。不过在windows系统上安装就稍显负责一点儿需要安装Cygwin来模拟Linux然后才能安装Hadoop。闲话少说先让我们来看看在Linux如何安装Hadoop吧。

  我们都知道Hadoop是用java编写的，所以在安装Hadoop之前需要做点儿准备工作。

 

   1.我们要先来安装Hadoop编译以及MapReduce运行所必须的JDK。这里推荐安装JDK6.

   2.由于Hadoop运行在一个分布式集群的环境，所以会在多台机器上进行交互 我们需要安装ssh来实现不输入密码通信

 

   搭建hadoop环境

1.修改ip地址

namenode:192.168.134.100

datanode1:192.168.134.101

datanode2:192.168.134.102

    

 我的namenode的ip设置为

 这时候修改完后需要执行一下命令 否则修改不起作用

 

2.修改hostname

 修改相应的位置 保存退出即可。

将hostname与ip绑定

 然后验证一下

3.关闭防火墙 

 

  

4.设置SSH自动登录

创建用户组

groupadd hadoop  添加一个组

useradd hadoop -g hadoop  添加用户

 切换到普通用户下，输入ssh-keygen -t rsa 命令生成公钥和私钥

然后进入/home/hadoop/.ssh目录下  执行cp id_rsa.pub authorized_keys

然后可以尝试ssh 连接hostname(第一次需要输入密码,第二次就不用了)

所谓的SSH的无密码登录就是在master上生成一个公钥和私钥对，然后将公钥复制到slave机器上，当master去ssh slave时，在slave上会生成一个随机数并用master的公钥加密后传给master，然后master用自己的私钥解密后回传给slave 去判断是否一致。

在使用ssh无密码登录时我们需要注意：

1.需要且到root下，修改/etc/ssh/sshd_config修改一下配置

 

2.切到普通用户如hadoop 将.ssh权限设置为700 ：chmod 700 .ssh

3.切到普通用户如hadoop  将authorized_keys(公钥) 权限设置为600 chmod 600 authorized_keys

 5.jdk安装

执行mkdir /usr/java  然后通过ssh工具将jdk安装包上传到linux中 我使用的版本为jdk-6u45-linux-x64.bin它是一个自解压文件 安装过程如下

# chmod 755 jdk-6u45-linux-x64.bin

# ./jdk-6u45-linux-x64.bin

然后配置环境变量

# vi /etc/profile

添加以下内容

 然后 修改保存完毕 需要使文件生效  执行命令 source /etc/profile

然后我们可以测试以下

 JDK安装完成。

6.安装tomcat

创建文件夹并上传tomcat安装文件 mkdir /usr/servers 我使用的是apache-tomcat-6.0.39.tar.gz

解压apache-tomcat-6.0.39.tar.gz

# tar -zxvf apache-tomcat-6.0.39.tar.gz

解压OK了 我们可以执行命令  netstat -ano|grep 8080检查8080端口是否被占用 如果没有输出 则未被占用

我们进入apache-tomcat-6.0.39/bin下执行./startup.sh出现如下提示 说明tomcat安装OK了。

 

 

     基本环境我们已经搞定，现在我们的主角hadoop即将登场，我们可以从Apache官网找到hadoop的压缩包，我们需要使用工具将其上传到Linux中，然后解压 过程跟安装tomcat类似。接下来让我们来看看，如何配置hadoop的吧。

     我们首先进入hadoop放置配置文件的文件夹，浏览一下大概内容：

 在这之前切记不能忘了修改 %hadoop_home%/confg/hadoop-env.sh文件的Java_home

否则我们会在启动hadoop中报错 ”[hadoop] Error:JAVA_HOME is not set“

然后我们首先来配置一下core-site.xml文件

 
 

接下来让我们来配置一下文件系统HDFS的配置文件hdfs-site.xml,由于我们只有俩个数据节点所以设置为2(默认值为3)

 

接下来我们要对MapReduce进行配置mapred-site.xml

 最后来配置一下masters(主) 修改成namenode 与上面保持一致，slaves(从)修改为 datanode1 datanode2

然后需要我们将配置好的hadoop 分发给datanode1和datanode2

scp -r /home/hadoop/hadoop-1.1.2 datanode1:/home/hadoop/

scp -r  /home/hadoop/hadoop-1.1.2 datanode2:/home/hadoop/

 现在我们开始来尝试启动hadoop吧：

启动前我们需要对HDFS文件系统进行格式化操作

 
 

然后我们可以尝试启动我们的hadoop了

执行命令./start-all.sh即可

 【遇到的问题】

 

【解决办法】

 修改${hadoop_home}/conf/hadoop-env.sh中的hadoop_pid_dir的内容

【可能遇到的防火墙问题导致hadoop无法启动解决办法】

关闭掉selinux

#/usr/sbin/setenforce 0 立刻关闭selinux

service iptables stop

 

这时我们可以通过 /hadoop hdfsadmin -report来验证一下

[hadoop@master bin]$./hadoop dfsadmin -report

Configured Capacity: 37558796288 (34.98 GB)

Present Capacity: 28923084830 (26.94 GB)

DFS Remaining: 28923027456 (26.94 GB)

DFS Used: 57374 (56.03 KB)

DFS Used%: 0%

Under replicated blocks: 1

Blocks with corrupt replicas: 0

Missing blocks: 0

 

-------------------------------------------------

Datanodes available: 2 (2 total, 0 dead)

 

Name: 192.168.134.102:50010

Decommission Status : Normal

Configured Capacity: 18779398144 (17.49 GB)

DFS Used: 28687 (28.01 KB)

Non DFS Used: 4317794289 (4.02 GB)

DFS Remaining: 14461575168(13.47 GB)

DFS Used%: 0%

DFS Remaining%: 77.01%

Last contact: Sat Sep 20 21:15:45 PDT 2014

 

 

Name: 192.168.134.101:50010

Decommission Status : Normal

Configured Capacity: 18779398144 (17.49 GB)

DFS Used: 28687 (28.01 KB)

Non DFS Used: 4317917169 (4.02 GB)

DFS Remaining: 14461452288(13.47 GB)

DFS Used%: 0%

DFS Remaining%: 77.01%

Last contact: Sat Sep 20 21:15:45 PDT 2014

 

我们也可以通过hadoop的web管理验证

查看jobtracker状态

http://192.168.134.100:50030

查看tasktracker状态

http://192.168.134.101:50060

http://192.168.134.102:50060

查看HDFS状态：

http://192.168.134.100:50070

安装zookeeper-3.4.5

使用WinSCP将zookeeper-3.4.5.tar上传到/home/hadoop目录下

tar -zxvf zookeeper-3.4.5.tar 解压

进入zookeeper-3.4.5/conf/目录 我们会看到zoo_simple.cfg配置文件

[hadoop@master zookeeper-3.4.5]$ cd conf/

[hadoop@master conf]$ ls

configuration.xsl  log4j.properties  zoo_sample.cfg

 

执行命令 cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg文件如下：

 

 为了让系统能够识别zoo.cfg中的server.id=host:port:port中server.id,在namenode节点的/home/hadoop/zookeeper-3.4.5/data中创建一个myid 里面只有一个数字1；同理datanode1的/home/hadoop/zookeeper-3.4.5/data下创建一个myid里面只有一个数字2，依次类推...id范围为1-255

这些配置需要复制到集群的每个节点上。

然后切换到root用户修改/etc/profile文件：

 

然后同步修改其他节点，修改完成后执行zookeeper分发命令

scp -r zookeeper-3.4.5 datanode1:/home/hadoop

scp -r zookeeper-3.4.5 datanode2:/home/hadoop

现在我们可以尝试运行zookeeper了。

 

[hadoop@namenode bin]$ ./zkServer.sh start

[hadoop@datanode1 bin]$ ./zkServer.sh start

[hadoop@datanode2 bin]$ ./zkServer.sh start

 

然后我们可以通过

[hadoop@datanode1 bin]$ ./zkServer.sh status

JMX enabled by default

Using config: /home/hadoop/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode: leader

 

[hadoop@datanode2 bin]$ ./zkServer.sh status

JMX enabled by default

Using config: /home/hadoop/zookeeper-3.4.5/bin/../conf/zoo.cfg

Mode: follower

来验证当前节点在zookeeper中的角色是leader还是follower。

至此zookeeper安装完成。

 【可能遇到的问题】

我们打开zookeeper-3.4.5/bin/zookeeper.out会看到这些异常(确实看着让人很不爽)不过我们不用管它，这只是其他节点上的zookeeper未启动导致的。

 

HBase安装

 同样我首先需要上传HBase安装包并解压(具体过程与上一样 略)。

我们使用的是hbase-0.94.7-security.tar.gz 故解压完后将其重命名为hbase-0.94.7。

由于HBase-0.94.7中带有hadoop-core.1.0.4.jar 而我们使用的hadoop-1.1.2所以未了避免冲突，我们需要将hadoop-core-1.0.4.jar换成hadoop-core-1.1.2.jar。

然后打开conf/hbase-env.sh修改一下内容

 

# The java implementation to use.  Java 1.6 required.

export JAVA_HOME=/usr/java/jdk1.6.0_45

 

# Extra Java CLASSPATH elements.  Optional.

export HBASE_CLASSPATH=/home/hadoop/hadoop-1.1.2/conf

 

# Tell HBase whether it should manage it's own instance of Zookeeper or not.

export HBASE_MANAGES_ZK=false

 

接下来需要我们来配置conf/hbase-site.xml

 hbase.rootdir指定Hbase数据存储目录,如果/hbase目录不存在，则需要在namenode节点中通过hadoop fs -    mkdir /hbase创建该目录

   hbase.cluster.distributed 指定是否是完全分布式模式，单机模式和伪分布式模式需要将该值设为false

   hbase.master指定Master的位置

   hbase.zookeeper.quorum 指定zooke的集群，多台机器以逗号分隔

 

接下来，打开conf/regionservers添加一下内容

datanode1

datanode2

指定HRegionServer进程将在哪些节点上运行

然后将配置好的HBase分发给各个节点 同上 略...

至此，HBase配置已经OK，在namenode上启动hadoop集群，接着在每台机器上启动zookeeper，最后启动hbase，以./hbase shell进入hbase的shell命令行，运行status查看当前的状态，如果命令可正常运行说明集群配置成功。

 验证地址：

http://192.168.134.100:60010/master-status

 

启动顺序：hadoop-》zookeeper-》hbase

停止顺序：hbase-》zookeeper-》hadoop

 

 哈哈 大功告成 小开心一下。