`

hbase on yarn 安装笔记,私货,浅显易懂

 
阅读更多

 

http://blog.csdn.net/jiushuai/article/details/26694475

 

java高级交流群:37341439 ,文明看不明白的地方可以进群询问啊!欢迎学习hbase的同志进群一同学习,一同进步。
 
 
hbase不需要编译,只需要选择需要的hadoop版本对应的hbase就可以。比如hbase-0.98.2-hadoop2-bin.tar.gz

1:集群机器间要建立ssh互信

 
先到所有机器执行下面代码创建rsa
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
 
然后到其中一台机器执行下面命令收集各个集群机器上的私钥
ssh hadoop1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh hadoop2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh hadoop3 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh client cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 
将收集好的authorized_keys复制到所有集群中机器中
scp ~/.ssh/authorized_keys hadoop2:~/.ssh/
scp ~/.ssh/authorized_keys hadoop1:~/.ssh/
scp ~/.ssh/authorized_keys hadoop3:~/.ssh/
 
 
将集群中的authorized_keys文件权限设置为600 。不设置的话互信会不成功哦。
chmod 600 ~/.ssh/authorized_keys
 
 
2进入解压后的hbase-0.98.2-hadoop2-bin.tar.gz,修改hbase-0.98.2-hadoop2-bin/conf/hbase-site.xml
添加如下配置:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
<description>The directory shared by RegionServers.
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
</configuration>
 
3:将这个配置好后的hbase拷贝到所有集群中相同的位置
 
4:在hdfs中新建/hbase目录,并修改所有者为hbase的启停用户,这个/hbase目录是hbase-site.xml中配置的hdfs://mycluster/hbase
hadoop fs -mkdir /hbase
hadoop fs -chown hbase /hbase
 
5:hbase启停用户需要配置hadoop环境变量,不然如果你配置了hdfs ha,在hbase-site.xml里面指定的 HBASE.ROOTDIR地址hbase就不认识
export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_LOG_DIR=/home/hadoop/hadoopdata/logs
 
6:启动hbase和停止hbase
HBASE_HOME/bin/start-hbase.sh
HBASE_HOME/bin/stop-hbase.sh
分享到:
评论

相关推荐

    hadoop,hbase,zookeeper安装笔记

    hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记

    hbase安装与使用

    ### HBase 安装与使用知识点详解 #### 概述 HBase 是一款构建于 Hadoop 之上的分布式、可扩展的大规模数据存储系统。它提供了类似 Google BigTable 的功能特性,非常适合处理海量数据和高并发读写需求的应用场景。...

    CDH-Hbase的安装1

    在本文中,我们将深入探讨HBase的安装过程及其在CDH环境中的集成。HBase是Apache Hadoop生态系统中的一个核心组件,它是一个分布式、版本化的、支持列族的NoSQL数据库,特别适合处理大规模的数据存储。CDH(Cloudera...

    Hbase的安装过程及基本操作

    在本文中,我们将详细讲解Hbase的安装过程以及基本操作,特别针对在Linux环境下使用清华大学镜像进行下载的情况。Hbase是一个分布式的、面向列的数据库,常用于大数据存储,是Apache Hadoop生态系统的一部分。以下是...

    IT十八掌_HBase阶段学习笔记(课堂笔记与原理图解)

    IT十八掌大数据第三期配套课堂笔记! 1 、HBase的特点 2 、HBase访问接口 3 、HBase存储结构与格式 4 、HBase设计 5 、关键算法和流程 6 、HBase安装 7、HBase的Shell操作 8、HBase客户端

    大数据Hbase 的学习笔记

    自己在大数据培训班学习整理的笔记,比较详细,适合新手学习,我感觉还是挺有帮助的,希望可以帮助到你

    HBase 1.2 分布式安装分享

    ### HBase 1.2 分布式安装分享 #### 一、概述 HBase是Apache Hadoop生态系统中的一个重要的组成部分,它提供了一种分布式的、面向列的存储系统,能够处理非常大量的数据,并且可以实时地进行读写操作。本文档主要...

    Hbase详细安装步骤

    HBase 详细安装步骤 HBase 是一个分布式、面向列的 NoSQL 数据库,它基于 Hadoop 的分布式文件系统(HDFS)和 MapReduce 编程模型。以下是在 Ubuntu 环境下安装 HBase 的详细步骤: 安装 HBase 1. 获取安装文件 ...

    Hbase 安装与基本使用

    HDFS作为HBase的数据存储层,MapReduce用于批处理HBase中的数据,YARN管理计算资源。 通过以上步骤,你应该已经掌握了HBase的基本安装和使用方法。然而,HBase的复杂性远不止于此,如表设计、故障恢复、监控及性能...

    Hadoop与HBase自学笔记

    ### Hadoop与HBase自学笔记知识点总结 #### 一、Hadoop与HBase简介 - **Hadoop**:是一款能够对大量数据进行分布式处理的软件框架。它通过提供高可靠性和高扩展性的分布式计算能力,使得用户能够在廉价的硬件设备...

    藏经阁-HBase on Beam.pdf

    HBase on Beam HBase on Beam 是一个基于 Apache Beam 的大数据处理解决方案,旨在提供一个统一的编程模型来处理批处理和流处理数据。 Beam 是一个开源的统一编程模型,用于定义批处理和流处理数据并行处理管道。...

    HBase学习笔记(个人整理)

    同时,掌握HBase的安装、配置和基本操作,如创建表、插入数据、查询数据等,是学习HBase的基础。 【HBase与其他技术的集成】 HBase可以与Apache Spark集成,用于实时数据处理和分析。Phoenix是SQL查询引擎,允许...

    大数据技术基础实验报告-HBase安装配置和应用实践.doc

    【大数据技术基础实验报告-HBase安装配置和应用实践】 这篇实验报告主要涵盖了HBase的安装、配置以及基本应用,这是大数据技术中一个重要的组件,它是一个分布式的、面向列的数据库,尤其适合处理大规模的数据。 1...

    hbase安装包

    HBase,全称为Hadoop Distributed File System上的基础结构(HBase on Hadoop Distributed File System),是一种分布式的、面向列的开源数据库,它构建在Apache Hadoop文件系统(HDFS)之上,提供高可靠性、高性能...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    在构建大数据处理环境时,Linux环境下的Hadoop2.6+Hbase1.2集群安装部署是基础步骤,而Spark分布式集群的搭建则是提升数据处理效率的关键。这些技术的组合使用,可以为大规模数据处理提供高效、可靠的解决方案。 ...

    hbase集群的安装

    hbase需要搭建集群,这里详细的介绍了集群的安装方式以及配置文件的一些修改

    在windows上安装Hbase

    在Windows上安装HBase 本文将指导您如何在Windows平台上安装HBase,包括配置详解。安装完成后,您将能够配置集群。 一、前提条件 在安装HBase前,需要安装Cygwin和Hadoop。这两个软件的安装不在本文的讨论范围内...

    HBase自学笔记

    ### HBase自学笔记知识点梳理 #### 一、HBase简介 **HBase** 是一个建立在 **Hadoop** 之上的非关系型数据库系统。它提供了实时数据读写能力,并且能够支持低延迟操作,这与传统的高延迟的Hadoop有所不同。作为...

    Ted Yu:HBase and HOYA

    HBase on YARN的架构允许部署更小、动态的、弹性的以及面向工作流的短暂或间歇的HBase集群。这种模式提高了集群资源的利用效率,因为HBase集群可以根据需求动态地分配资源,而不是像传统集群那样必须预留固定的资源...

    Hadoop(Hbase)的安装部署与配置实验

    ### Hadoop(Hbase)的安装部署与配置实验知识点总结 #### 一、实验环境准备 1. **硬件配置** - CPU: Intel Core i5-3317U @ 1.7GHz - Memory: 8GB - OS: Windows 8 + Ubuntu 12.04 LTS (64-bit on VMware) 2. ...

Global site tag (gtag.js) - Google Analytics