HBase运行模式:
单机和分布式(伪分布式、真分布式),我们今天配置的环境是真分布式环境
OS:Redhat 6.5 64bit
JDK:JDK1.7
Hadoop:2.7.1
Zookeeper:3.4.6
HBase集群环境是在HDFS环境中运行的,在安装HBase集群之前必须配置好HDFS的集群环境
配置之前,请先自行到Hbase官方网站下载安装包,我用的是目前最新的版本Hbase1.1.2
http://mirrors.hust.edu.cn/apache/hbase/stable/
1.上传hbase安装包到Linux环境
2.解压
3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.1
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
vim regionservers
hadoop02
hadoop03
hadoop06
3.2拷贝hbase到其他节点
scp -r /usr/local/hbase/ hadoop02:/usr/local/
scp -r /usr/local/hbase/ hadoop03:/usr/local/
scp -r /usr/local/hbase/ hadoop06:/usr/local/
4.将配置好的HBase拷贝到每一个节点并同步时间。
5.启动所有的hbase
分别启动zk
./zkServer.sh start
启动hbase集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh
6.通过浏览器访问hbase管理页面
hadoop01:16010(Hbase1之后的版本号更新为16010、16020、16030)
7.为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master
相关推荐
4. **Hive学习笔记.pdf**:Hive的学习笔记通常会涵盖HQL(Hive Query Language)、表的创建与管理、数据加载与查询优化等内容,适用于数据分析人员。 5. **分布式并行数据库集群在海量数据处理上的应用.pdf**:这份...
这个“Hadoop学习笔记”涵盖了Hadoop生态系统中的核心组件,包括HDFS(Hadoop分布式文件系统)、HBase(一个分布式、列式存储的数据库)、Hive(数据仓库工具)以及Spark(一个快速、通用且可扩展的数据处理引擎)。...
【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库,它运行在Hadoop之上,提供高性能、高可靠性以及可水平扩展的数据存储能力...
Hadoop的生态系统还包括Hive、HBase、Pig、Zookeeper等多种工具和组件,用于数据分析、实时处理、任务调度和协调。 Hadoop安装通常包括下载、配置和启动集群的NameNode和DataNode。NameNode是HDFS的主节点,负责...
【Hadoop环境搭建】 在构建一个完整的Hadoop生态系统时,我们需要搭建多个组件,包括Zookeeper、HBase、Hive、MySQL、Kafka以及Spark,并且它们都要运行在HDFS之上。下面将详细介绍这些组件的安装与配置过程。 1. ...
docker版hbase集群构建,从docker安装开始,再到docker中下载并运行hadoop镜像,之后下载并配置hbase。最后对整个流程做总结,遇到的问题,以及一些docker基础知识和hbase教程。
Hadoop集群可以轻松扩展到PB级别的数据存储和处理能力,这使得Hadoop非常适合在需要处理大量数据的场合中使用。但是,Hadoop的可扩展性并不意味着它适合所有场景,由于其架构特点,它更适合于批处理,而非实时处理。...
【Hadoop与HBase自学笔记】是一篇详细记录在Windows环境下搭建Hadoop和HBase分布式环境的教程。本文主要分为六个部分,涵盖了从基础环境准备到集群开发的全过程。 1. **安装JDK**:首先,你需要安装Java ...
本环境搭建主要包括以下几个核心部分:Java、Hadoop、HBase、Spark、Miniconda以及Jupyter。 首先,Java是大数据处理的基础,因为许多大数据工具依赖于Java运行时环境。在Ubuntu中,首先需要下载JDK的压缩包,将其...
《Hadoop学习笔记》 Hadoop,作为大数据处理的核心框架,是开源社区的杰作,由Apache软件基金会维护。这份文档旨在深入解析Hadoop的基本概念、架构及其在大数据处理中的应用,帮助读者全面掌握这一重要技术。 一、...
在这个学习笔记中,你可能会找到关于Hadoop集群的监控、故障排查、数据备份和恢复等方面的内容。这些都是确保Hadoop系统稳定运行的关键技能。此外,随着Hadoop生态系统的发展,如Hive(用于数据仓库)、Pig(提供...
Zookeeper在HBase中扮演协调者的角色,负责管理集群的状态信息,如Master节点选举、Region Server的注册和监控等。 理解并熟练掌握上述概念和命令,将有助于在实践中高效地使用HBase来处理大规模数据。在设计HBase...
以上就是HBase自学笔记中的关键知识点总结,涵盖了HBase的基本概念、与其他Hadoop组件的关系、存储机制、架构以及环境搭建等方面。通过这些知识点的学习,可以帮助我们更好地理解和掌握HBase的核心技术和应用场景。
搭建Hadoop大数据平台通常需要在Linux环境下进行,因此掌握基本的Linux命令和shell编程是必不可少的技能。例如,在安装和配置Hadoop集群时,需要使用Linux命令进行环境设置,以及编写shell脚本来自动化管理任务。 ...
05_搭建分布式HBase集群 06_SQOOP安装及导入数据到HBase表 07_HBase Backup Masters配置、启动、测试 08_HBase 压缩配置测试 09_分布式集群搭建:大数据框架回顾说明 10_分布式集群搭建:集群环境说明及基本...
集群的管理和配置是Hadoop学习中的重要环节,包括节点间通信设置、资源调度策略等。 3. **MapReduce**: MapReduce是Hadoop的并行计算模型,它将大型数据集分割成小块,并在多台机器上并行处理。Map阶段将原始数据...