本文在hadoop-0.20.203.0 多节点安装后,在其上继续安装hbase-0.90.3
hadoop安装参考:
http://han-zoo.iteye.com/admin/blogs/1274926
---------------------------------------
总体步骤:在namenode上解压配置hbase->传送到其他NODE->回到namenode上启动hbase
详细步骤:
一、配置HBASE
1、在namenode 的DM1机器上下载hbase-0.90.3
2、解压在单独目录:/usr/hadoop/hbase-0.90.3
3、配置文件
/
hbase-site.xml
/usr/hadoop/hbase-0.90.3/conf/
hbase-site.xml
注意:
hdfs://dm1:9000/taisan 在HADOOP上需要建立
<configuration>
<property>
<name>hbase.rootdir</name>
<value>
hdfs://dm1:9000/taisan
</value>
<description>hadoop dir</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.40.240:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.10.147,192.168.40.242,192.168.40.239</value> 备注:另外三台的IP
</property>
</configuration>
4、配置文件
hbase-env.sh
/usr/hadoop/hbase-0.90.3/conf
/hbase-env.sh
配置java环境如下:
export JAVA_HOME=/usr/java/jdk1.6.0_27/
5、配置文件regionservers
192.168.10.147
192.168.40.242
192.168.40.239
----------------------------------------------------------------------------------------------------------------
至此配置完毕,如果此时传送到其他机器,启动时会报错
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: null
需要作如下操作:
复制hadoop/lib下的
commons-configuration-1.6.jar 到hbase/lib下
删除hbase/lib下的hadoop-core-0.20-append-r1056497.jar
复制hadoop/lib下的hadoop-core-0.20.203.0.jar
到hbase/lib下
操作记录:
cp /usr/hadoop/hadoop-0.20.203.0/lib/commons-configuration-1.6.jar /usr/hadoop/hbase-0.90.3/lib/.
chmod 715 /usr/hadoop/hbase-0.90.3/lib/commons-configuration-1.6.jar
rm
/usr/hadoop/hbase-0.90.3/lib/hadoop-core-0.20-append-r1056497.jar
cp /usr/hadoop/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar /usr/hadoop/hbase-0.90.3/lib/.
chmod 715 /usr/hadoop/hbase-0.90.3/lib/hadoop-core-0.20.203.0.jar
----------------------------------------------------------------------------------------------------------------
6、传输到其他机器
scp -r hbase-0.90.3/ dm2:/usr/hadoop/.
scp -r hbase-0.90.3/ dm3:/usr/hadoop/.
scp -r hbase-0.90.3/ dm4:/usr/hadoop/.
7、启动hbase
hadoop@dm1:/usr/hadoop/hbase-0.90.3$ ./bin/start-hbase.sh
192.168.40.242: starting zookeeper, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-zookeeper-dm3.out
192.168.40.239: starting zookeeper, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-zookeeper-dm4.out
192.168.10.147: starting zookeeper, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-zookeeper-dm2.out
starting master, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-master-dm1.out
192.168.40.242: starting regionserver, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-regionserver-dm3.out
192.168.40.239: starting regionserver, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-regionserver-dm4.out
192.168.10.147: starting regionserver, logging to /usr/hadoop/hbase-0.90.3/bin/../logs/hbase-hadoop-regionserver-dm2.out
观察master:
hadoop@dm1:/usr/hadoop/hbase-0.90.3$ jps
10009
HMaster
5477 NameNode
5744 JobTracker
10255 Jps
5665 SecondaryNameNode
观察节点上:
hadoop@dm2:/usr/hadoop$ jps
5572
HQuorumPeer
5737 Jps
5690
HRegionServer
4986 DataNode
5125 TaskTracker
查看url:
http://192.168.40.240:60010/
参考
http://www.cnblogs.com/ventlam/archive/2011/01/22/HBaseCluster.html
http://hi.baidu.com/%C2%ED%B3%A4%D5%F72008/blog/item/0f1fdca390f527a2cbefd0de.html
http://wadefall.iteye.com/blog/1182803
问题:
http://javoft.net/2011/09/hbase-hmaster-%E6%97%A0%E6%B3%95%E5%90%AF%E5%8A%A8-call-to-failed-on-local-exception/
http://trophy.iteye.com/blog/1189119
分享到:
相关推荐
在Ubuntu系统上安装配置HBase是一项重要的任务,尤其对于那些需要处理大规模数据的项目而言。HBase是一个分布式的、面向列的开源数据库,它构建于Hadoop之上,提供了实时读写和强一致性。以下是在Ubuntu上安装和配置...
本文档旨在指导用户在 Ubuntu 16.04 环境下安装和配置 Hbase 集群模式,以满足大数据学习爱好者的需求。下面是安装和配置 Hbase 集群模式的详细步骤和知识点: 系统环境 在安装 Hbase 之前,需要确保系统环境已经...
1. 分布式存储:HBase将数据分散存储在多个节点上,通过Hadoop的HDFS(Hadoop Distributed File System)实现数据的分布式存储。 2. 面向列:与传统关系型数据库不同,HBase以列族为单位组织数据,每个列族可以包含...
1.集群配置,包含三个结点,主节点控制所有的子节点 2.集群已经搭建好了,解压之后直接可以使用Finalshell和VMware连接 3.包含全套组件:hdfs,hbase,hive,sqoop,mysql,pig,spark等大数据组件 4.如果不知道如何...
### Ubuntu分布式部署Zookeeper与HBase #### 一、Zookeeper 安装 **1.1 版本信息** - **虚拟机版本:** VMware 14 - **系统版本:** Ubuntu 18.04 - **Zookeeper版本:** 3.4.12 - **Java版本:** 1.8 **1.2 安装步骤...
hbase2.0环境搭建的知识点可以从多个维度展开,包括环境准备、软件安装、配置调整、服务启动以及性能优化等方面。 首先,环境准备是hbase2.0环境搭建的重要环节。文档中提到需要有hadoop2.7.5环境的搭建和启动,...
HDP是由 Hortonworks 提供的一个全面的数据平台,它包含了多个开源项目,如Hadoop、HBase、YARN、Spark等,为数据处理提供了一站式的解决方案。HDP-3.1.0.0是一个特定的版本,它可能包含了性能优化、新功能的引入...
10. **扩展性**:随着数据的增长,可以通过增加RegionServer节点来横向扩展HBase集群,提高处理能力和存储容量。 11. **优化策略**:包括合理设置Region大小、预分区表、选择合适的Column Family、启用BlockCache等...
- Ubuntu 14.04 (操作系统): `ubuntu-14.04.4-server-amd64.iso` - JDK 1.7: `jdk-7u76-linux-x64.tar.gz` - Hadoop 2.6.4: `hadoop-2.6.4.tar.gz` - Zookeeper 3.4.8: `zookeeper-3.4.8.tar.gz` - HBase 1.2.1: `...
### Hadoop(Hbase)的安装部署与配置实验知识点总结 #### 一、实验环境准备 1. **硬件配置** - CPU: Intel Core i5-3317U @ 1.7GHz - Memory: 8GB - OS: Windows 8 + Ubuntu 12.04 LTS (64-bit on VMware) 2. ...
总结来说,HBase集群部署涉及到多个层面的知识点,包括对HBase结构的理解、虚拟机环境的配置、JDK的安装和配置、SSH无密码登录的设置,以及HBase的配置。这些知识点不仅对于理解HBase的工作原理至关重要,而且对于...
Zookeeper是Hadoop和HBase集群环境中的核心组件,负责节点管理和配置管理。安装Zookeeper需要下载zookeeper-3.4.5.tar.gz安装包,然后解压缩并配置Zookeeper。 HBase0.96安装和部署 HBase是基于Hadoop的NoSQL...
Hadoop的部署通常涉及多台节点,包括NameNode、DataNode、Secondary NameNode等角色,而HBase则有Master、RegionServer等组件。 2. **准备工作** - **主机**:部署Hadoop和HBase需要多台服务器或虚拟机,每台机器...
总的来说,搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤,包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解,并熟悉Linux系统的操作。完成后,这个集群可以处理大量数据,支持实时查询和...
- 实验通常在虚拟机环境中进行,比如VMware Workstation上运行Ubuntu-12.04操作系统。 - 需要安装JDK、Hadoop和Hbase特定版本,同时配置好相应的环境变量和系统设置。 9. **实验步骤**: - 包括下载和安装所需...
本教程主要涵盖的是在较旧版本的Hadoop 1.0.2上安装并配置HBase 0.94,以及相关的MapReduce开发和Hadoop-Eclipse插件的编译。这些内容对于理解大数据处理的基本流程和工具使用具有重要意义。 首先,我们来详细讨论...
【大数据环境搭建】在Ubuntu操作系统中构建大数据处理环境是一个复杂的过程,涉及到多个组件的安装与配置。本环境搭建主要包括以下几个核心部分:Java、Hadoop、HBase、Spark、Miniconda以及Jupyter。 首先,Java是...
Hadoop的安装通常涉及多个步骤,包括但不限于硬件准备、操作系统配置、Hadoop软件包安装等。 ##### 硬件需求 - **处理器**:本例中使用的是Intel Pentium G630 @ 2.70GHz,具有两个核心。 - **内存**:总内存为...
实验环境配置了Ubuntu操作系统,具体版本为16.04,并在该环境下安装配置了Hadoop v2.7.3和HBase v1.2.6,这为HBase的运行提供了必要的环境支持。在进行HBase Shell命令操作时,需要依赖这些软件和配置好的环境。 ##...
在生产环境中,为了数据安全和高可用性,通常会配置多个Hbase节点。 客户端环境与服务端相似,但主要负责收集数据并上报至服务端。操作系统同样为Ubuntu 14.04.4 x64,JDK版本为1.8.0_171,Tomcat版本为8.5.33.0。...