`

Hadoop学习笔记 7 Hbase集群环境搭建

 
阅读更多

 

 HBase运行模式:

单机和分布式(伪分布式、真分布式),我们今天配置的环境是真分布式环境

OS:Redhat 6.5 64bit

JDK:JDK1.7

Hadoop:2.7.1

Zookeeper:3.4.6

 

HBase集群环境是在HDFS环境中运行的,在安装HBase集群之前必须配置好HDFS的集群环境

 

配置之前,请先自行到Hbase官方网站下载安装包,我用的是目前最新的版本Hbase1.1.2

http://mirrors.hust.edu.cn/apache/hbase/stable/

1.上传hbase安装包到Linux环境

2.解压

3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
 
 3.1修改hbase-env.sh
 export JAVA_HOME=/usr/java/jdk1.7.1
 //告诉hbase使用外部的zk
 export HBASE_MANAGES_ZK=false
 
 vim hbase-site.xml
 <configuration>
  <!-- 指定hbase在HDFS上存储的路径 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://ns1/hbase</value>
        </property>
  <!-- 指定hbase是分布式的 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
  <!-- 指定zk的地址,多个用“,”分割 -->
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
        </property>
 </configuration>
 
 vim regionservers
 hadoop02
 hadoop03
 hadoop06
 
 3.2拷贝hbase到其他节点
  scp -r /usr/local/hbase/ hadoop02:/usr/local/
  scp -r /usr/local/hbase/ hadoop03:/usr/local/

  scp -r /usr/local/hbase/ hadoop06:/usr/local/
4.将配置好的HBase拷贝到每一个节点并同步时间。

5.启动所有的hbase
 分别启动zk
  ./zkServer.sh start
 启动hbase集群
  start-dfs.sh
 启动hbase,在主节点上运行:
  start-hbase.sh
6.通过浏览器访问hbase管理页面
 hadoop01:16010(Hbase1之后的版本号更新为16010、16020、16030)
7.为保证集群的可靠性,要启动多个HMaster
 hbase-daemon.sh start master

 

 

分享到:
评论

相关推荐

    hadoop,hive,hbase学习资料

    4. **Hive学习笔记.pdf**:Hive的学习笔记通常会涵盖HQL(Hive Query Language)、表的创建与管理、数据加载与查询优化等内容,适用于数据分析人员。 5. **分布式并行数据库集群在海量数据处理上的应用.pdf**:这份...

    Hadoop学习笔记

    这个“Hadoop学习笔记”涵盖了Hadoop生态系统中的核心组件,包括HDFS(Hadoop分布式文件系统)、HBase(一个分布式、列式存储的数据库)、Hive(数据仓库工具)以及Spark(一个快速、通用且可扩展的数据处理引擎)。...

    Hadoop之HBase学习笔记

    【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库,它运行在Hadoop之上,提供高性能、高可靠性以及可水平扩展的数据存储能力...

    3.Hadoop学习笔记.pdf

    Hadoop的生态系统还包括Hive、HBase、Pig、Zookeeper等多种工具和组件,用于数据分析、实时处理、任务调度和协调。 Hadoop安装通常包括下载、配置和启动集群的NameNode和DataNode。NameNode是HDFS的主节点,负责...

    hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc

    【Hadoop环境搭建】 在构建一个完整的Hadoop生态系统时,我们需要搭建多个组件,包括Zookeeper、HBase、Hive、MySQL、Kafka以及Spark,并且它们都要运行在HDFS之上。下面将详细介绍这些组件的安装与配置过程。 1. ...

    docker之hbase集群学习笔记

    docker版hbase集群构建,从docker安装开始,再到docker中下载并运行hadoop镜像,之后下载并配置hbase。最后对整个流程做总结,遇到的问题,以及一些docker基础知识和hbase教程。

    Hadoop学习笔记.pdf

    Hadoop集群可以轻松扩展到PB级别的数据存储和处理能力,这使得Hadoop非常适合在需要处理大量数据的场合中使用。但是,Hadoop的可扩展性并不意味着它适合所有场景,由于其架构特点,它更适合于批处理,而非实时处理。...

    Hadoop与HBase自学笔记

    【Hadoop与HBase自学笔记】是一篇详细记录在Windows环境下搭建Hadoop和HBase分布式环境的教程。本文主要分为六个部分,涵盖了从基础环境准备到集群开发的全过程。 1. **安装JDK**:首先,你需要安装Java ...

    大数据环境搭建(java, hadoop, hbase, spark, miniconda, jupyte)

    本环境搭建主要包括以下几个核心部分:Java、Hadoop、HBase、Spark、Miniconda以及Jupyter。 首先,Java是大数据处理的基础,因为许多大数据工具依赖于Java运行时环境。在Ubuntu中,首先需要下载JDK的压缩包,将其...

    hadoop学习笔记

    《Hadoop学习笔记》 Hadoop,作为大数据处理的核心框架,是开源社区的杰作,由Apache软件基金会维护。这份文档旨在深入解析Hadoop的基本概念、架构及其在大数据处理中的应用,帮助读者全面掌握这一重要技术。 一、...

    hadoop1.0\2.0学习笔记及

    在这个学习笔记中,你可能会找到关于Hadoop集群的监控、故障排查、数据备份和恢复等方面的内容。这些都是确保Hadoop系统稳定运行的关键技能。此外,随着Hadoop生态系统的发展,如Hive(用于数据仓库)、Pig(提供...

    HBase自学笔记

    以上就是HBase自学笔记中的关键知识点总结,涵盖了HBase的基本概念、与其他Hadoop组件的关系、存储机制、架构以及环境搭建等方面。通过这些知识点的学习,可以帮助我们更好地理解和掌握HBase的核心技术和应用场景。

    hadoop笔记2.pdf

    搭建Hadoop大数据平台通常需要在Linux环境下进行,因此掌握基本的Linux命令和shell编程是必不可少的技能。例如,在安装和配置Hadoop集群时,需要使用Linux命令进行环境设置,以及编写shell脚本来自动化管理任务。 ...

    手把手教你搭建分布式Hadoop集群视频教程(视频+讲义+笔记+软件+配置)

    05_搭建分布式HBase集群 06_SQOOP安装及导入数据到HBase表 07_HBase Backup Masters配置、启动、测试 08_HBase 压缩配置测试 09_分布式集群搭建:大数据框架回顾说明 10_分布式集群搭建:集群环境说明及基本...

    hadoop笔记打包下载(想学hadoop不下载后悔)

    集群的管理和配置是Hadoop学习中的重要环节,包括节点间通信设置、资源调度策略等。 3. **MapReduce**: MapReduce是Hadoop的并行计算模型,它将大型数据集分割成小块,并在多台机器上并行处理。Map阶段将原始数据...

Global site tag (gtag.js) - Google Analytics