`

安装Hadoop和HBase

阅读更多
我使用的是ubuntu10.04.3版本,Hadoop与HBase使用的是Cloudera公司的hadoop0.20.2-cdh3u1与hbase0.90.3-cdh3u1版本。

1.集群规划:
使用3个虚拟机来构建集群,以后可以考虑做增加节点的实验。
机器名,IP分别为:
myCloud01,10.63.0.121, hadoop namenode,datanode / hbase HMaster
myCloud02,10.63.0.122, hadoop datanode / hbase HRegionServer
myCloud03,10.6.30.123, hadoop daganode / hbase HRegionServer

myCloud01做为master,slave与JobTracker,myCloud02与myCloud03做为slave与TaskTracker。

查看机器名字:$hostname
修改ubuntun机器的hostname,直接修改/etc /hostname文件

2.安装Hadoop与HBase之前的准备:
1) 创建非root用户hadoop
由于Cloudera公司的Hadoop只能在非root用户下启动,因此,我们建立一个非root用户hadoop,密码也为hadoop。

2)安装jdk
由于Hadoop要使用到jdk,因此在安装Hadoop之前必须安装jdk。我下载的是jdk-6u16-dlj-linux-i586.bin。首先赋予该文件执行权限:
$chmod a+x jdk-6u16-dlj-linux-i586.bin
然后安装jdk:
$./jdk-6u16-dlj-linux-i586.bin

3)解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1
在myCloud01,myCloud02,myCloud03上创建cdh3目录
$mkdir /home/hadoop/cdh3
在myCloud01上解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1,zookeeper-3.3.3-cdh3u1
$tar zxvf hadoop0.20.2-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf hbase0.90.3-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf zookeeper-3.3.3-cdh3u1.tar.gz -C /home/hadoop/cdh3

在myCloud01上修改/etc/profile
$sudo vim /etc/profile
添加代码
JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16

JRE_HOME=$JAVA_HOME/jre

HADOOP_HOME=/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1

HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1

ZOOKEEPER_HOME=/home/hadoop/cdh3/zookeeper-3.3.3-cdh3u1

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HBASE_HOME ZOOKEEPER_HOME PATH


在myCloud02,myCloud03上修改/etc/profile
$sudo vim /etc/profile
添加代码
JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16

JRE_HOME=$JAVA_HOME/jre

HADOOP_HOME=/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1

HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar$CLASSPATH

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH

export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HBASE_HOME PATH


4)设置ssh免密码登录
用hadoop用户登录myCloud01,myCloud02,myCloud03,在/home/hadoop/下建立.ssh目录

$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
在~/.ssh/会生成两个文件:id_rsa和id_rsa.pub
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将authorized_keys拷贝到myCould02和myCloud03
$ scp /home/hadoop/.ssh/authorized_keys hadoop@10.63.0.122:/home/hadoop/.ssh/

5)修改hosts文件
$sudo vim /etc/hosts
修改所有机器的/etc/hosts文件为:
127.0.0.1     loaclhost
10.63.0.121   myCloud01
10.63.0.122   myCloud02
10.63.0.123   myCloud03


然后在myCloud01上用ssh登陆myCloud02,myCloud03,第一次登录需要确认,以后就不需要了。
$ssh myCloud02
$ssh myCloud03

3.安装Hadoop
1)在myCloud01上修改Hadoop环境变量
在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh中添加
export JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16

2)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/core-site.xml中添加
<property>
<name>fs.default.name</name>
<value>hdfs://myCloud01:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp</value>
</property>

3)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hdfs-site.xml中添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/data/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/data/data</value>
</property>


4)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/mapred-site.xml中添加
<property>
<name>mapred.job.tracker</name>
<value>myCloud01:9001</value>
</property>


5)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/masters修改为
myCloud01


6)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/slaves修改为
myCloud01
myCloud02
myCloud03


7)拷贝myCloud01的Hadoop到myCloud02与myCloud03
$ scp -r /home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/hadoop@10.63.0.122:/home/hadoop/cdh3/

8)格式化Hadoop
在myCloud01上使用下面的命令:
$hadoop namenode -format
启动Hadoop:
$start-all.sh
使用$jps命令查看,如果namenode,secondarynode,datanode,jobtracker,tasktracker都启动起来表明Hadoop启动成功。然后打开http//myCloud01:50070就可以观察datanode,打开http://myCloud01:50030就可以观察JobTracker。

4.安装HBase
1)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-env.sh添加
export JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16
export HBASE_CLASSPATH=/home/hadoop/cdh3/hbase-0.90.3/conf 


2) 在myCloud01上修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh添加
export HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.90.3-cdh3u1.jar:$HBASE/hbase-0.90.3-cdh3u1-tests.jar:$HBASE_HOME/lib/zookeeper-3.3.3-cdh3u1.jar


2)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-site.xml添加
<property>
<name>hbase.rootdir</name>
<value>hdfs://myCloud01:9000/hbase</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.master.port</name>
<value>6000</value>
</property>

<property>
<name>hbase.zookeeper.quorum</name>
<value>myCloud01</value>
</property>


3)在myCloud01上/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/regionservers添加
myCloud01
myCloud02
myCloud03


4)将myCloud01上得hbase拷贝到myCloud02与myCloud03上
$ scp -r /home/hadoop/cdh3/hbase-0.90.3-cdh3u1/ hadoop@10.63.0.122:/home/hadoop/cdh3/

5) 在Hadoop启动的情况下,使用$start-hbase.sh命令,用$jps查看,如果发现HMaster进程,则表明已经HBase已经启动。可以打开http://myCloud01查看HBase的详细信息。
分享到:
评论

相关推荐

    hadoop+hbase 靠谱部署文档,先成功,后整理

    本文档详细记录了 Hadoop 和 HBase 的部署过程,涵盖了系统环境描述、软件安装前环境配置、Hadoop 和 HBase 的安装和配置、hosts 文件设定等关键步骤。 1. 系统环境描述 在部署 Hadoop 和 HBase 之前,需要了解...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】

    在大数据领域中,Hadoop、HBase和Hive是重要的组件,它们通常需要协同工作以实现数据存储、管理和分析。随着各个软件的版本不断更新,确保不同组件之间的兼容性成为了一个挑战。本文将介绍Hadoop、HBase、Hive以及...

    windows中安装Hadoop与Hbase

    在Windows系统中安装和配置Hadoop和Hbase,是为了建立起一个适合单机测试和开发的本地大数据环境。Hadoop是一个由Apache基金会开发的开源框架,用于存储和处理大规模数据,它通过可靠的分布式存储(HDFS)和分布式...

    hadoop+hbase+zookeeper集群配置流程及文件

    在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...

    hadoop和hbase集成所需jar包

    在大数据处理领域,Hadoop和HBase是两个重要的开源组件,它们分别扮演着分布式存储和实时数据访问的角色。Hadoop提供了强大的数据处理能力,而HBase则是一个基于Hadoop的分布式列式数据库,适合处理大规模的半结构化...

    Hadoop与HBase部署文档

    - **安装Java**:Hadoop和HBase依赖Java运行环境,通常需要JDK 8或以上版本。 - **设置相关变量**:配置环境变量`JAVA_HOME`,确保Java可被系统识别。 - **安装Hadoop**:下载Hadoop源码或二进制包,解压后配置...

    Hadoop和Hbase安装使用教程

    ### Hadoop和Hbase安装使用教程 #### 一、准备工作 在正式开始Hadoop和HBase的安装之前,我们需要做一些准备工作。这些准备包括了安装必要的软件环境,例如虚拟机环境和SSH客户端,以及对虚拟机的基本配置。 ####...

    Hadoop+Hbase+Spark+Hive搭建

    在本文档中,我们详细地介绍了Hadoop+Hbase+Spark+Hive的搭建过程,包括环境准备、主机设置、防火墙设置、环境变量设置、Hadoop安装、Hbase安装、Spark安装和Hive安装。本文档旨在指导读者从零开始搭建Hadoop+Hbase+...

    hadoop和hbase安装操作手册

    ### Hadoop和HBase安装操作手册 #### 一、引言 随着大数据技术的发展,Hadoop和HBase作为处理大规模数据的关键技术框架,受到了越来越多的关注。本文档旨在为初次接触这些技术的学习者提供一份详尽的操作指南,...

    Hadoop+Hbase技术使用文档(整理过的)

    本文档旨在指导用户如何在单节点上安装并配置Hadoop与Hbase,从而实现数据的分布式存储和处理。通过本教程的学习,读者将能够理解并掌握Hadoop与Hbase的基本操作流程。 #### 二、运行环境要求 ##### 2.1 支持的平台...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    总的来说,搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤,包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解,并熟悉Linux系统的操作。完成后,这个集群可以处理大量数据,支持实时查询和...

    hadoop+hbase集群搭建 详细手册

    2. HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。 3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光...

    hadoop,hbase,zookeeper安装笔记

    hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记

    hadoop和HBase常用shell命令

    Hadoop 和 HBase 常用 shell 命令 在大数据处理中,Hadoop 和 HBase 是两个非常重要的组件。Hadoop 是一个分布式计算框架,用于处理大规模数据,而 HBase 是一个基于 Hadoop 的分布式数据库,用于存储和处理大规模...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成...

    hadoop+hbase jar包

    在大数据处理领域,Hadoop和HBase是两个非常重要的组件。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量数据。HBase则是基于Hadoop的分布式数据库,尤其适合处理大规模的非结构化数据。下面...

    Hadoop Zookeeper HBase集群

    标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件:Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先,Hadoop是Apache软件基金会开发的一个开源框架...

    windows安装配置jdk+hadoop+hbase.txt

    windows安装配置jdk+hadoop+hbase

    Hadoop和Hbase 配置文件-完整好的

    在使用这些配置文件时,你需要确保所有主机名正确,并且文件路径与你的Hadoop和HBase安装一致。例如,`fs.defaultFS`应指向实际的HDFS NameNode,`hbase.rootdir`应指向HBase的数据目录,`hbase.zookeeper.quorum`应...

Global site tag (gtag.js) - Google Analytics