再上一章中我们已经学习了
Hadoop-1.0.3集成Hive-0.8.1,在这一章节我们来学习一下如何配置Hbase-0.92.2。
配置Zookeeper先
在hadoop上集成hbase之前,需要先安装zookeeper,hbase集群需要通过zookeeper集群来通信和监控Hbase集群中的节点的状态。故我们首先来配置一下zookeeper:
引用
# wget http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
# chmod +x zookeeper-3.4.5.tar.gz
# tar -xzvf zookeeper-3.4.5.tar.gz
# cp -rf zookeeper-3.4.5 /opt/bigdata
# cd /opt/bigdata/zookeeper-3.4.5
# vi /etc/profile
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.5
export PATH=%ZOOKEEPER_HOME%/bin:$PATH
# source /etc/profile
# cd conf
# cp zoo_sample.cfg zoo.cfg
# mkdir /data/zookeeper
# vi zoo.cfg
//将zoo.cfg中的dataDir=/tmp/zookeeper改为
dataDir=/data/zookeeper
好了,执行好上述命令语句后,zookeeper就已经配置好了,现在启动:
引用
# cd ../bin
# ./zkServer.sh start
配置Hbase
先下载hbase并解压:
引用
# wget http://archive.apache.org/dist/hbase/hbase-0.92.2/hbase-0.92.2.tar.gz
# chmod +x hbase-0.92.2.tar.gz
# tar xzvf hbase-0.92.2.tar.gz
# cp hbase-0.92.2 /opt/bigdata
1、先配置hbase环境变量:
引用
# vi /etc/profile
export HBASE_HOME=/opt/bigdata/hbase-0.92.2
export PATH=%HBASE_HOME%/bin:$PATH
# source /etc/profile
2、接下来进入%HBASE_HOME%/conf,配置hbase-env.sh:
引用
# cd /opt/bigdata/hbase-0.92.2/conf
# vi hbase-env.sh
export JAVA_HOME=/usr/local/jdk6
export HBASE_MANAGES_ZK=false //true:使用hbase内置的zk,false:使用外置的zk
export HBASE_HOME=/opt/bigdata/hbase-0.92.2
export HADOOP_INSTALL=/opt/bigdata/hadoop-1.0.3
# sh hbase-env.sh
3、再接下来配置%HBASE_HOME%/conf,配置hbase-site.xml:
引用
# vi hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>localhost:60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
<description>hbase在zookeeper中注册的根结点的名字,默认为”/hbase”</description>
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
<description>指定ZooKeeper集群</description>
</property>
4、接下来在配置%HBASE_HOME%/conf/regionservers:
引用
# vi regionservers
localhost //这里要列出所有的regionservers
5、然后将hadoop里的hadoop-core-1.0.3.jar和zookeeper里的zookeeper.3.4.5.jar拷贝到hbase的lib目录下:
引用
# cd /opt/bigdata/hadoop-1.0.3
# cp hadoop-core-1.0.3.jar ../hbase-0.92.2/lib
# cp zookeeper-3.4.5.jar ../hbase-0.92.2/lib
# rm -rf zookeeper-3.4.3.jar //如果之前有其他版本的hadoop-core-*.jar则删除之
6、还要修改/etc/hosts,将用户名映射到127.0.0.1,如:
引用
127.0.0.1 JackyChen
否则启动hbase的时候报错。
好了,到这里已经配置好了hbase,我们要按顺序启动hadoop、 zookeeper和hbase:
引用
# cd /opt/bigdata/hadoop-1.0.3/bin
# ./start-all.sh
# cd ../../zookeeper-3.4.5/bin
# ./zkServer.sh start
# cd ../../hbase-0.92.2/bin
# ./start-hbase.sh
执行上述命令后,hbase就启动起来了,接下来我们查看相关的进程:
引用
# jps
如果出现一下显示就说明已经启动成功:
然后执行
./hbase shell进入hbase的shell命令行。
- 大小: 126.9 KB
分享到:
相关推荐
通过以上步骤,我们已经在CentOS 6.5 x86_64环境下成功搭建了Hadoop 2.2.0集群,并且集成了HBase和ZooKeeper,形成了一套完整的分布式存储和处理系统。这样的系统不仅能够处理海量数据,还具备高可用性和扩展性,...
【Hadoop Hbase Zookeeper集群配置】涉及到在Linux环境下搭建分布式计算和数据存储系统的流程,主要涵盖以下几个关键知识点: 1. **集群环境设置**:一个基本的Hadoop Hbase Zookeeper集群至少需要3个节点,包括1个...
为搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境,需要至少3台Linux机器,建议使用Centos6.4 64位操作系统,每台机器建议配置不低于4G内存和10G磁盘空间。 软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-...
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
- 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务,包括Master和RegionServer。 3. **Spark**:Spark是一个快速、通用且可扩展的大数据处理引擎,支持批处理、交互式查询、流处理...
- **安装操作系统**:常用的操作系统为Linux,如CentOS或Ubuntu,因为它们对Hadoop有更好的支持。 - **开启SSH服务**:SSH(Secure Shell)用于远程登录和命令执行,是配置集群的基础。 - **修改Linux最大打开...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
企业内部实际 hadoop zookeeper hbase搭建步骤明细
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
大数据 hadoop spark hbase ambari全套视频教程(购买的付费视频)
环境介绍:3台虚拟机安装centos6.5 64位、jdk1.7 64位、hadoop2.5.2 64位
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解.pdf
VMware_Hadoop_HBase_Zookeeper 伪分布式安装指南 标题解读 本文档主要讲述了使用 VMware 搭建伪分布式环境的步骤,包括虚拟机的安装、网络配置、JDK 的安装、Hadoop、HBase 和 Zookeeper 的安装等。 描述解读 ...
通过以上步骤,你就成功地使用Ansible在CentOS 7上搭建了一个Hadoop与HBase的集成环境。这样的自动化部署方式不仅节省了手动操作的时间,还减少了错误的可能性,提高了集群的稳定性和可靠性。记住,持续监控和维护...
在本文中,我们将深入探讨如何在CentOS-6.4 64位操作系统上配置一个基于Hadoop 2.2.0、HBase 0.96和Zookeeper 3.4.5的分布式环境。这个过程涉及到多个步骤,包括系统设置、软件安装、配置以及服务启动。 首先,为了...