`
jinghong
  • 浏览: 55494 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

ubuntu11.04上cloudera cdh3u0的hadoop和hbase分布式安装

阅读更多
概述:
业务需要较实时的处理大数据量,并提供大吞吐量的读写,hbase作为一个可选的列数据库,记录一下安装过程,待查。
hbase的安装需要hadoop和zookeeper和hbase,生产环境下需要将zookeeper独立安装,并保证整个集群没有单点。
hbase软件选择cloudera的cdh3u0,apache的版本需要重新编译hadoop0.20.2-appender版以保证没有数据丢失。

1、规划机器
使用12个虚拟机作为集群测试,ip为192.168.0.221-232,hostname为ubuntu-1到ubuntu-12其中
机器名IP安装系统
ubuntu-1192.168.0.221hadoop namenode / hbase HMaster
ubuntu-2192.168.0.222hadoop datanode / hbase HRegionServer
ubuntu-3192.168.0.223hadoop datanode / hbase HRegionServer
ubuntu-4192.168.0.224hadoop datanode / hbase HRegionServer
ubuntu-5192.168.0.225hadoop datanode / hbase HRegionServer
ubuntu-6192.168.0.226hadoop datanode / hbase HRegionServer
ubuntu-7192.168.0.227hadoop datanode / hbase HRegionServer
ubuntu-8192.168.0.228hadoop datanode / hbase HRegionServer
ubuntu-9192.168.0.229zookeeper
ubuntu-10192.168.0.230zookeeper
ubuntu-11192.168.0.231zookeeper
ubuntu-12192.168.0.232hadoop second namenode / hbase HMaster


2、安装操作系统及必要软件
安装ubuntu11.04 server X64版,hadoop推荐2.6.30以上内核
# sudo apt-get install ssh
# sudo apt-get install vim
# sudo apt-get install rsync

创建hadoop用户
在所有机器上,密码为hadoop,并加入到sudo组
# sudo adduser hadoop
# sudo usermod -G sudo hadoop

安装jdk
从oracle下载jdk-6u24-linux-x64.bin,在所有的机器上安装
# ./jdk-6u24-linux-x64.bin
# sudo mv jdk1.6.0_24 /usr/local

解压cdh3u0软件
在所有机器创建cdh3目录
# mkdir /home/hadoop/cdh3
在221上解压hadoop和hbase
# tar zxvf hadoop-0.20.2-cdh3u0.tar.gz -C /home/hadoop/cdh3
# tar zxvf hbase-0.90.1-cdh3u0.tar.gz -C /home/hadoop/cdh3

在229上解压zookeeper
# tar zxvf zookeeper-3.3.3-cdh3u0.tar.gz -C /home/hadoop/cdh3
在221-228,232上修改/etc/profile
# sudo vim /etc/profile
添加
JAVA_HOME=/usr/local/jdk1.6.0_24
JRE_HOME=$JAVA_HOME/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
HADOOP_HOME=/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0
HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.1-cdh3u0
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH

export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HBASE_HOME PATH

在229-231上修改/etc/profile
添加
JAVA_HOME=/usr/local/jdk1.6.0_24
ZOOKEEPER_HOME=/home/hadoop/cdh3/zookeeper-3.3.3-cdh3u0
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

export JAVA_HOME ZOOKEEPER_HOME PATH

ssh免密码登录
用hadoop用户登录所有机器,在/home/hadoop/下建立.ssh目录
运行
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
这样会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
拷贝authorized_keys到222-232
# scp /home/hadoop/.ssh/authorized_keys hadoop@192.168.0.222:/home/hadoop/.ssh/
修改hosts文件
# sudo vim /etc/hosts
修改所有机器的/etc/hosts文件为
127.0.0.1       localhost
192.168.0.221   ubuntu-1
192.168.0.222   ubuntu-2
192.168.0.223   ubuntu-3
192.168.0.224   ubuntu-4
192.168.0.225   ubuntu-5
192.168.0.226   ubuntu-6
192.168.0.227   ubuntu-7
192.168.0.228   ubuntu-8
192.168.0.229   ubuntu-9
192.168.0.230   ubuntu-10
192.168.0.231   ubuntu-11
192.168.0.232   ubuntu-12

从221登录221-232,用hostname,第一次需要确认,以后就可以直接登录。
# ssh ubuntu-1
# ssh ubuntu-2
# ssh ubuntu-3
# ssh ubuntu-4
# ssh ubuntu-5
# ssh ubuntu-6
# ssh ubuntu-7
# ssh ubuntu-8
# ssh ubuntu-9
# ssh ubuntu-10
# ssh ubuntu-11
# ssh ubuntu-12


3、安装hadoop
在221和232上创建/data
# sudo mkdir /data
# sudo chown hadoop /data

在222和228上创建/disk1,/disk2,/disk3
# sudo mkdir /disk1
# sudo mkdir /disk2
# sudo mkdir /disk3
# sudo chown hadoop /disk1
# sudo chown hadoop /disk2
# sudo chown hadoop /disk3


修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/hadoop-env.sh添加
export JAVA_HOME=/usr/local/jdk1.6.0_24

修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/core-site.xml添加
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data</value>
    <description>A base for other temporary directories.</description>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://ubuntu-1:9000/</value>
    <description>The name of the default file system.  A URI whose
    scheme and authority determine the FileSystem implementation.  The
    uri's scheme determines the config property (fs.SCHEME.impl) naming
    the FileSystem implementation class.  The uri's authority is used to
    determine the host, port, etc. for a filesystem.</description>
  </property>

修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/hdfs-site.xml添加
  <property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/data</value>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>/disk1,/disk2,/disk3</value>
  </property>

  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/mapred-site.xml添加
  <property>
    <name>mapred.job.tracker</name>
    <value>ubuntu-1:9001</value>
    <description>The host and port that the MapReduce job tracker runs
    at.  If "local", then jobs are run in-process as a single map
    and reduce task.
    </description>
  </property>

修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/masters添加
ubuntu-12

修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/conf/slaves添加
ubuntu-2
ubuntu-3
ubuntu-4
ubuntu-5
ubuntu-6
ubuntu-7
ubuntu-8

拷贝221的hadoop到222-228,232
# scp -r /home/hadoop/cdh3/hadoop-0.20.2-cdh3u0/ hadoop@192.168.0.222:/home/hadoop/cdh3/
格式化hadoop文件系统
# hadoop namenode -format
启动hadoop,在221上运行
# start-all.sh

查看集群状态:http://192.168.0.221:50070/dfshealth.jsp


查看JOB状态:http://192.168.0.221:50030/jobtracker.jsp


4、安装zookeeper
在229-231上创建/home/hadoop/zookeeperdata目录
修改229的/home/hadoop/cdh3/zookeeper-3.3.3-cdh3u0/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/hadoop/zookeeperdata
# the port at which the clients will connect
clientPort=2181
server.1=ubuntu-9:2888:3888
server.2=ubuntu-10:2888:3888
server.3=ubuntu-11:2888:3888

拷贝229的hadoop到230,231
# scp -r /home/hadoop/cdh3/zookeeper-3.3.3-cdh3u0/ hadoop@192.168.0.232:/home/hadoop/cdh3/
在229,230,231的/home/hadoop/zookeeperdata目录下建myid文件,内容分别为1,2,3
启动zookeeper,在229-231上分别执行
# zkServer.sh start
启动后可以使用
# zkServer.sh status
查看状态

5、安装hbase
在221上修改/home/hadoop/cdh3/hbase-0.90.1-cdh3u0/conf/hbase-env.sh添加
export JAVA_HOME=/usr/local/jdk1.6.0_24
export HBASE_MANAGES_ZK=false

在221上修改/home/hadoop/cdh3/hbase-0.90.1-cdh3u0/conf/hbase-site.xml添加
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ubuntu-1:9000/hbase</value>
  </property>

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase.master.port</name>
    <value>60000</value>
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>ubuntu-9,ubuntu-10,ubuntu-11</value>
  </property>

在221上修改/home/hadoop/cdh3/hbase-0.90.1-cdh3u0/conf/regionservers添加
ubuntu-2
ubuntu-3
ubuntu-4
ubuntu-5
ubuntu-6
ubuntu-7
ubuntu-8

拷贝221的hbase到222-228,232
# scp -r /home/hadoop/cdh3/hbase-0.90.1-cdh3u0/ hadoop@192.168.0.222:/home/hadoop/cdh3/

启动hbase
在221上执行
# start-hbase.sh
启动hbase的第二个HMaster
在232上执行
# hbase-daemon.sh start master

查看Master:http://192.168.0.221:60010/master.jsp



查看Region Server:http://192.168.0.222:60030/regionserver.jsp



查看ZK:http://192.168.0.221:60010/zk.jsp




6、说明
jps查看启动进程
221
JobTracker
NameNode
HMaster

222-228
HRegionServer
DataNode
TaskTracker

229-231
QuorumPeerMain

232
SecondaryNameNode
HMaster


启动顺序
1.hadoop
2.zookeeper
3.hbase
4.第二个HMaster

停止顺序
1.第二个HMaster, kill-9删除
2.hbase
3.zookeeper
4.hadoop
  • 大小: 15 KB
  • 大小: 20.2 KB
  • 大小: 73.7 KB
  • 大小: 45 KB
  • 大小: 42.4 KB
分享到:
评论

相关推荐

    ubuntu11.04安装(图文)

    本文档详细介绍了 Ubuntu 11.04 的安装过程,包括自动分区和手动分区两种方式。通过本文档,用户可以轻松地安装 Ubuntu 11.04 操作系统。 一、安装前的准备 在安装 Ubuntu 11.04 之前,需要准备一个可启动的光盘。...

    Ubuntu 11.04安装指南

    ### Ubuntu 11.04 安装指南详解 #### 一、Linux基础知识与挂载点概念 在深入了解Ubuntu 11.04的安装之前,我们先来了解一下Linux的基础知识,尤其是关于挂载点的概念。 Linux作为一种强大的开源操作系统,其核心...

    ubuntu 11.04下Qt开发环境的安装

    - 在Ubuntu 11.04上,默认可能没有安装g++编译器和其他必要的库。使用以下命令安装: ``` sudo apt-get install build-essential ``` - 如果提示找不到包,则需要更新源列表: - 打开源列表文件: ``` sudo ...

    Ubuntu 11.04 安装手册

    Ubuntu 11.04 安装手册是一份详细的指南,旨在帮助用户了解如何在计算机上安装并配置Ubuntu 11.04,一款面向桌面计算机、笔记本和服务器的Linux操作系统。Ubuntu 11.04代号为"Natty Narwhal",于2011年4月发布,是...

    ubuntu11.04上编译omap3530内核存在问题解决方法

    ### Ubuntu 11.04 上 OMAP3530 内核编译问题及解决方案 #### 背景概述 本文旨在提供一个详尽的指南,帮助开发者在 Ubuntu 11.04 系统环境下成功编译 OMAP3530 处理器的 Linux 内核。本案例中使用的硬件平台为天漠...

    Ubuntu11.04 下载.txt

    Ubuntu11.04 下载

    硬盘全新安装ubuntu11.04

    对于希望在计算机上全新安装Ubuntu 11.04的操作人员而言,掌握正确的安装流程尤为重要。本文将详细介绍如何通过硬盘进行全新安装,并针对Windows 7和XP用户提供不同的引导方法。 #### 二、准备工作 在开始安装前,...

    Ubuntu11.04在有一键GHOST的Windows XP系统上的安装

    ### Ubuntu 11.04 在含一键 GHOST 的 Windows XP 系统上安装详解 #### 背景介绍 本文旨在详细介绍如何在已安装一键 GHOST 的 Windows XP 操作系统上安全地安装 Ubuntu 11.04,且不会影响原有的 Windows XP 系统。...

    CSI Tool 集成安装包(适配Ubuntu11.04)

    CSI Tool 集成安装包(适配Ubuntu 11.04系统,Intel 5300 无线网卡) csitools

    ubuntu11.04制作离线镜像源

    在安装ubuntu11.04时,镜像源扮演着非常重要的角色,因为它提供了软件包更新和安装的能力。默认情况下,ubuntu11.04的镜像源位于/var/apt/spool/apt-mirror目录下。 制作离线镜像源的步骤 1. 安装必要的软件:sudo...

    Ubuntu11.04 wubi安装容量限制

    【标题】:“Ubuntu11.04 wubi安装容量限制” Ubuntu 11.04 是 Ubuntu 操作系统的一个版本,发布于2011年,而Wubi是Ubuntu提供的一种简便的安装方式,尤其适合那些希望在不重新分区硬盘的情况下体验Linux的Windows...

    最快最全的Ubuntu11.04源,速度超快

    最快最全的Ubuntu11.04源,速度超快

    在VMware Player 安装 ubuntu11.04全图解

    ### 在VMware Player中安装Ubuntu 11.04全图解 #### 一、准备工作与环境搭建 在正式开始之前,确保你的电脑上已经安装了VMware Player软件。如果没有安装,可以从官方网站下载并安装最新版本。此外,还需要准备一...

    ubuntu11.04 图形安装教程,设置

    ### Ubuntu 11.04 图形安装教程与设置详解 #### 一、Ubuntu 11.04 系统概述 Ubuntu 11.04(Natty Narwhal)是Ubuntu系列的一个重要版本,发布于2011年4月28日。这个版本带来了许多新的特性和改进,包括采用Unity...

    Ubuntu 11.04 安装后要做的20件事情

    Ubuntu 11.04 安装后要做的20件事情是指在安装了 Ubuntu 11.04 之后需要完成的一系列任务,以便快速配置和优化系统。下面是这20件事情的详细解释: 1. 不喜欢 Unity? 切换到 Ubuntu gnome 经典桌面:如果您不喜欢 ...

    ubuntu11.04安装wine1.3方法

    ### Ubuntu 11.04 安装 Wine 1.3 的详细步骤 #### 一、准备工作 在开始安装 Wine 1.3 之前,请确保您的 Ubuntu 11.04 已经更新到了最新状态。这一步非常重要,因为最新的系统更新可能会包含必要的依赖项或者安全...

    UBUNTU11.04服务器版安装和简单配置.docx

    本文档总结了UBUNTU 11.04服务器版的安装和简单配置过程。安装前需要分好磁盘分区,包括交换空间的分区,建议使用Ubuntu桌面版光盘中分区工具。安装步骤包括选择简体中文、配置网络、设置主机名、时钟设置、磁盘分区...

    将Ubuntu 11.04 化身为Mac

    标题《将Ubuntu 11.04 化身为Mac》和描述中所蕴含的知识点主要涉及Ubuntu操作系统及其定制化,特别是如何将Ubuntu桌面环境改造成类似苹果Mac OS的界面风格。文中提及了Elementary、Docky和Gloobus-Preview这三个工具...

    Ubuntu 11.04 samba & SSH 安装

    本人在VMware虚拟机 安装的 Ubuntu 11.04 & Ubuntu server 12.04 上的安装记录 多部电脑/服务器验证通过

Global site tag (gtag.js) - Google Analytics