hbase运行在hadoop基础上。
我的环境变量
export JAVA_HOME=/usr/local/runtime/jdk export HADOOP_PREFIX=/usr/local/runtime/hadoop export HIVE_HOME=/usr/local/runtime/hive export HBASE_HOME=/usr/local/runtime/hbase export ZOOKEEPER_HOME=/usr/local/runtime/zookeeper export JRE_HOME=/usr/local/runtime/jdk/jre export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_PREFIX/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_PREFIX/sbin
修改配置文件hbase-env.sh
export JAVA_HOME=/usr/local/runtime/jdk
一、单机版,一般不用
1、无需hadoop,不能与zookeeper在同一台电脑上。配置hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/testuser/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/testuser/zookeeper</value> </property> <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> </configuration> 2、启动/usr/local/hbase-2.1.3/bin/start-hbase.sh
二、伪分布式搭建
1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中 2> 比较适合实验测试 3> 伪分布式的ZK可以使用外部ZK,也可以使用内置ZK 1、配置hbase-site.xml(内置ZK配置) <configuration> <!-- 设置HRegionServers共享目录,用来持久化 HBase 注意:hbase.rootdir里面的HDFS地址是要跟 Hadoop的core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致 --> <property> <name>hbase.rootdir</name> <value>hdfs://PCS102:9820/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/testuser/zookeeper</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> </configuration> 2、配置regionservers [root@PCS102 conf]# vi /usr/local/hbase-2.1.3/conf/regionservers 该配置列出regionserver节点清单,默认为localhost,这里改成PCS102 当前节点域名 3、 启动HBase(注意Hbase和hadoop版本 否则启动不成功) hbase-daemon.sh start zookeeper hbase-daemon.sh start master hbase-daemon.sh start regionserver 可以在/usr/local/hbase-2.1.3/logs下查看日志 查看HDFS hdfs dfs -ls /hbase
三、完全分布式搭建
节点 |
NN |
DN |
ZK |
Master |
Backup-Master |
RegionServer |
node1 |
1 |
|
1 |
1 |
|
|
node2 |
1 |
1 |
1 |
|
|
1 |
node3 |
|
1 |
1 |
|
|
1 |
node4 |
|
1 |
|
|
|
1 |
node5 |
|
|
|
|
1 |
|
1、 配置hbase-env.sh 配置JAVA环境变量:export JAVA_HOME=/usr/local/jdk1.8.0_65 配置使用外部ZK:HBASE_MANAGERS_ZK=true 2、 配置hbase.site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hdfscluster:9820/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> #ZK清单 <property> <name>hbase.zookeeper.quorum</name> <value>node1,node2,node3</value> </property> </configuration> 3、 配置regionservers、根据规划,配置regionserver节点清单 node2 node3 node4 4、 配置backup-masters(/usr/local/hbase-2.1.3/conf没有这个文件 需要新建一个) 根据规划,配置Backup-Master节点清单 node5 5、拷贝hadoop配置hdfs-site.xml(强调:hadoop版本和hbase版本对应问题) [root@node1 conf]# cp /usr/local/hadoop-3.1.1/etc/hadoop/hdfs-site.xml ./ 6、分发hbase目录到所有节点 [root@node1 local]# scp -r ./hbase-2.1.3 node2:`pwd` [root@node1 local]# scp -r ./hbase-2.1.3 node3:`pwd` [root@node1 local]# scp -r ./hbase-2.1.3 node4:`pwd` [root@node1 local]# scp -r ./hbase-2.1.3 node5:`pwd` 7、启动HBase [root@node1 local]# start-hbase.sh 8、Hbase shell进行表相关操作 [root@node5 local]# hbase shell 9、停止 stop-hbase.sh
相关推荐
【大数据技术基础实验报告-HBase安装配置和应用实践】 这篇实验报告主要涵盖了HBase的安装、配置以及基本应用,这是大数据技术中一个重要的组件,它是一个分布式的、面向列的数据库,尤其适合处理大规模的数据。 1...
### 基于集群的HBase安装和配置 #### Zookeeper简介 Zookeeper作为Hadoop生态中的关键组件,主要用于提供高可用性和分布式协调服务。它能够有效地管理Hadoop集群中的各种资源和服务,例如Hadoop NameNode管理和...
【分布式数据库HBase安装配置与实践】 HBase是一款基于Google Bigtable理念设计的开源NoSQL数据库,它构建在Hadoop之上,适用于处理大规模数据。在本文档中,我们将详细介绍如何在Linux环境中安装、配置和实践HBase...
本教程“Hadoop&Hbase安装完美教程”旨在指导用户详细地安装和配置这两个工具,确保用户能够顺利地进行大数据操作。首先,让我们深入了解Hadoop的安装过程: 1. **环境准备**:Hadoop需要Java运行环境,因此第一步...
【大数据实验Hbase安装部署和使用javaapi调用】 在这个实验中,我们将深入理解HBase在Hadoop生态系统中的角色,并掌握如何在Ubuntu 19.04操作系统上安装、配置和使用HBase,同时利用Java API进行编程。实验中使用的...
在Linux环境下,构建基于Hadoop集群的Zookeeper和Hbase安装及配置是一项关键任务,因为这两个组件在大数据处理中扮演着重要角色。Hadoop生态系统中的HBase是一个分布式数据库,它建立在Hadoop集群的HDFS(Hadoop ...
### Zookeeper及HBase安装配置详解 #### 一、Zookeeper安装配置 **目标环境**: - 三台服务器:192.168.15.5(master)、192.168.15.6(slave1)、192.168.15.7(slave2) **步骤一:主机名映射** - 在每台服务器...
### HBase 安装与使用知识点详解 #### 概述 HBase 是一款构建于 Hadoop 之上的分布式、可扩展的大规模数据存储系统。它提供了类似 Google BigTable 的功能特性,非常适合处理海量数据和高并发读写需求的应用场景。...
本文将深入探讨如何进行HBase的安装、节点的添加与移除,以及如何解决常见的问题。 首先,Hadoop是HBase的基础,因此在安装HBase之前,必须先确保Hadoop环境已经正确配置并稳定运行。对于`hadoop-2.5.2-hbase-...
本文将深入探讨HBase的安装过程以及基本使用方法,旨在帮助初学者快速上手。 **一、HBase简介** HBase是Google Bigtable的开源实现,它在Hadoop文件系统(HDFS)之上构建,提供了高度可扩展性和实时读写能力。HBase...
### Hadoop和Hbase安装使用教程 #### 一、准备工作 在正式开始Hadoop和HBase的安装之前,我们需要做一些准备工作。这些准备包括了安装必要的软件环境,例如虚拟机环境和SSH客户端,以及对虚拟机的基本配置。 ####...
指导手册06:HBase安装部署 hbase配置文件
通过以上步骤,我们可以确认HBase安装成功,并且可以进行基本的数据操作。随着需求的增长,可以进一步配置HBase的高级特性,例如设置复制、分区策略、优化查询性能等。在生产环境中,还需要关注HBase的监控和维护,...
Zookeeper和Hbase安装总结手册.
一、HBase安装 1. **系统需求**:HBase通常运行在Linux环境下,因此首先确保你的服务器或开发环境是Linux。同时,需要安装Java Development Kit (JDK) 8或更高版本,因为HBase依赖Java运行。 2. **下载HBase**:...
根据提供的文件信息,以下是对HBase安装部署过程的详细知识点解析: ### HBase安装部署步骤 #### 一、上传并解压HBase安装包 - **上传安装包**:首先需要将HBase的安装包上传至每台服务器,并在服务器上进行解压...
### Hadoop和HBase安装操作手册 #### 一、引言 随着大数据技术的发展,Hadoop和HBase作为处理大规模数据的关键技术框架,受到了越来越多的关注。本文档旨在为初次接触这些技术的学习者提供一份详尽的操作指南,...
### HBase 安装与基本介绍 #### 一、HBase 概述 HBase 是一个分布式的、面向列的开源数据库,它旨在为结构化数据提供高效存储和检索服务。HBase 的设计灵感来源于 Google 的 Bigtable 论文,并且它作为 Apache ...
《HBase安装配置与部署运行》 文档控制 本文档主要针对HBase初学者,旨在详细介绍如何进行HBase的安装、配置以及后续的部署运行。包括基本的数据操作,如建表、删表、统计(DML操作)以及数据的创建、更新、删除和...