`
knight_black_bob
  • 浏览: 858118 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hbase-ha 安装

linuxhadoophbasehdfsnosql 
阅读更多

 

hbase-ha  安装

-1.目标：

10.156.50.35  hmaster
10.156.50.36  hmaster
10.156.50.37  hregionserver

 

0.准备工作 hadoop 服务器

10.156.50.35 yanfabu2-35.base.app.dev.yf zk1  hadoop1 master1 master
10.156.50.36 yanfabu2-36.base.app.dev.yf zk2  hadoop2 master2
10.156.50.37 yanfabu2-37.base.app.dev.yf zk3  hadoop3 slaver1

 

1.准备工作 ntp 服务器

 

yum install ntp –y
chkconfig ntpd on

vi /etc/ntp.conf
服务器配置：
	# 设置允许访问ntp-server进行校时的网段
	restrict 172.23.27.120 mask 255.255.255.0 nomodify notrap
	#本地时钟源
	server 172.23.27.120
	#当外部时钟不可用，使用本地时钟
	fudge 172.23.27.120 stratum 10
客户端配置：
	#设置上层时钟源，设置为ntp server地址
	server 172.23.27.120
	#允许与上层时钟服务器同步时间
	restrict 172.23.27.120 nomodify notrap noquery
	#本地时钟
	server  172.23.27.115 
	#当上层时钟源不可用，使用本地时钟
	fudge   172.23.27.115 stratum 10

运行
服务器端
	service ntpd start
	service ntpd stop
	ntpstat
客户端
	ntpdate –u 172.23.27.120
	service ntpd start
	ntpstat
查看
	watch ntpq -p

 

2.安装hbase

2.0 修改 ~/.bash_profile

 

vim ~/.bash_profile

export HBASE_HOME=/home/zkkafka/hbase
export PATH=$HBASE_HOME/bin:$PATH

source ~/.bash_profile

 

2.1 修改 hbase-evn.sh

#开启JAVA_HOME配置
export JAVA_HOME=/home/zkkafka/jdk1.8.0_151/
#关闭HBase自带的zookeeper，使用zookeeper集群
export HBASE_MANAGES_ZK=false

 

2.2 修改hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
	<!--对应的zookeeper集群，不用加端口-->
        <name>hbase.zookeeper.quorum</name>
        <value>master1,master2,slaver1</value>
    </property>
</configuration>

 

2.3 修改regionservers配置

slaver1

 

2.4 修改 backup-masters 

master2

 

2.5 复制Hadoop配置文件hdfs-site.xml到HBase的conf目录

cp /home/zkkafka/hadoop/etc/hadoop/hdfs-site.xml ./

 

2.6 复制配置文件到其他节点

scp /home/zkkafka/hbase/conf/*  zkkafka@10.156.50.36:/home/zkkafka/hbase/conf/
scp /home/zkkafka/hbase/conf/*  zkkafka@10.156.50.37:/home/zkkafka/hbase/conf/

 

 

2.7 启动hbase

sh /home/zkkafka/hbase/bin/start-hbase.sh


[zkkafka@yanfabu2-35 bin]$ ./start-hbase.sh 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/zkkafka/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/zkkafka/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
running master, logging to /home/zkkafka/hbase/bin/../logs/hbase-zkkafka-master-yanfabu2-35.base.app.dev.yf.out
slaver1: running regionserver, logging to /home/zkkafka/hbase/bin/../logs/hbase-zkkafka-regionserver-yanfabu2-37.base.app.dev.yf.out
master2: running master, logging to /home/zkkafka/hbase/bin/../logs/hbase-zkkafka-master-yanfabu2-36.base.app.dev.yf.out

 

2.8 查看进程hbase

[zkkafka@yanfabu2-35 bin]$ jps
59330 QuorumPeerMain
79763 Jps
56377 Kafka
86680 ResourceManager
86570 DFSZKFailoverController
79514 HMaster                           √
86044 JournalNode
87356 NameNode

 

 

[zkkafka@yanfabu2-36 ~]$ jps
37365 QuorumPeerMain
99335 Jps
56489 DFSZKFailoverController
99224 HMaster                           √
34571 Kafka
56606 NameNode
56319 JournalNode

 

[zkkafka@yanfabu2-37 ~]$ jps
61619 JournalNode
61829 NodeManager
42955 QuorumPeerMain
73002 HRegionServer                     √
40189 Kafka
61693 DataNode
73182 Jps

 

2.9 查看 web-ui

http://10.156.50.35:16010/master-status
http://10.156.50.36:16010/master-status

 

3. shell命令

cd /home/zkkafka/hadoop/share/hadoop/yarn/lib/
mv jline-0.9.94.jar jline-0.9.94.jar.bak
rz jline-2.12.jar

 

[zkkafka@yanfabu2-35 ~]$ hbase version
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/zkkafka/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/zkkafka/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase 2.0.5
Source code repository git://dd7c519a402b/opt/hbase-rm/output/hbase revision=76458dd074df17520ad451ded198cd832138e929
Compiled by hbase-rm on Mon Mar 18 00:41:49 UTC 2019
From source with checksum fd9cba949d65fd3bca4df155254ac28c

 

 

[zkkafka@yanfabu2-35 lib]$ hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/zkkafka/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/zkkafka/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version 2.0.5, r76458dd074df17520ad451ded198cd832138e929, Mon Mar 18 00:41:49 UTC 2019
Took 0.0048 seconds

 

 

4.数据库操作

create 'data_analysis',{NAME => 'data_time', VERSIONS => 1},{NAME => 'inamount', VERSIONS => 1}

create 'data_analysis', {NAME => 'inaccount', VERSIONS => 1}, {NAME => 'inamount', VERSIONS => 1}, {NAME => 'outaccount', VERSIONS => 1},{NAME => 'outamount', VERSIONS => 1};

put 'data_analysis', '2019-05-19 00:00:00', 'inaccount', '10000';
put 'data_analysis', '2019-05-19 00:00:00', 'inamount', '100';
put 'data_analysis', '2019-05-19 00:00:00', 'outaccount', '10100';
put 'data_analysis', '2019-05-19 00:00:00', 'outamount', '101';




put 'data_analysis', '2019-05-19 00:00:00', 'inaccount:xianxishoudanaccount', '5000';
put 'data_analysis', '2019-05-19 00:00:00', 'inaccount:xianshangshoudanaccount', '5000';
put 'data_analysis', '2019-05-19 00:00:00', 'inamount:xianxishoudanamount', '50';
put 'data_analysis', '2019-05-19 00:00:00', 'inamount:xianshangshoudanamount', '50';

get 'data_analysis' ,'2019-05-19 00:00:00' , 'inaccount'
get 'data_analysis' ,'2019-05-19 00:00:00' , 'inaccount:xianxishoudanaccount'
get 'data_analysis' ,'2019-05-19 00:00:00' , 'inaccount:xianshangshoudanaccount'


scan 'data_analysis'
ROW                                              COLUMN+CELL                                                                                                                                   
 2019-05-19 00:00:00                             column=inaccount:, timestamp=1558080234354, value=10000                                                                                       
 2019-05-19 00:00:00                             column=inaccount:xianshangshoudanaccount, timestamp=1558080601831, value=5000                                                                 
 2019-05-19 00:00:00                             column=inaccount:xianxishoudanaccount, timestamp=1558080601812, value=5000                                                                    
 2019-05-19 00:00:00                             column=inamount:, timestamp=1558080234393, value=100                                                                                          
 2019-05-19 00:00:00                             column=inamount:xianshangshoudanamount, timestamp=1558080601856, value=50                                                                     
 2019-05-19 00:00:00                             column=inamount:xianxishoudanamount, timestamp=1558080601844, value=50                                                                        
 2019-05-19 00:00:00                             column=outaccount:, timestamp=1558080234406, value=10100                                                                                      
 2019-05-19 00:00:00                             column=outamount:, timestamp=1558080234417, value=101                                                                                         
                                                                                                                                                                         




flush 'data_analysis'

 

 

[zkkafka@yanfabu2-35 bin]$ hdfs dfs -lsr /hbase/data/default/data_analysis
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:03 /hbase/data/default/data_analysis/.tabledesc
-rw-r--r--   2 zkkafka supergroup       1808 2019-05-17 16:03 /hbase/data/default/data_analysis/.tabledesc/.tableinfo.0000000001
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:03 /hbase/data/default/data_analysis/.tmp
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a
-rw-r--r--   2 zkkafka supergroup         48 2019-05-17 16:03 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.regioninfo
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.tmp
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.tmp/inaccount
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.tmp/inamount
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.tmp/outaccount
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/.tmp/outamount
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/inaccount
-rw-r--r--   2 zkkafka supergroup       5097 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/inaccount/5243c1f49c7b4b0fa91d8df3a936e7a2
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/inamount
-rw-r--r--   2 zkkafka supergroup       5083 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/inamount/9e7bc1d2a1e64987b90c3254e53c57cb
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/outaccount
-rw-r--r--   2 zkkafka supergroup       4931 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/outaccount/c3217f1ea5a24f3daf1d984f55c78a6b
drwxr-xr-x   - zkkafka supergroup          0 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/outamount
-rw-r--r--   2 zkkafka supergroup       4926 2019-05-17 16:11 /hbase/data/default/data_analysis/ed3abfb268f14d203f95dd0a45f80b8a/outamount/4061fca2d54e471a86da5290d9a67020
[zkkafka@yanfabu2-35 bin]$

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者 

在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。 当然，有钱捧个钱场（支持支付宝和微信 以及扣扣群），没钱捧个人场，谢谢各位。

 

个人主页：http://knight-black-bob.iteye.com/



 
 
 谢谢您的赞助，我会做的更好！

0
顶
0
踩
分享到：
| 【sqoop2 error】 org.apache.sqoop.conne ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop-2.0.0-cdh4.3.0安装手册(hbase-0.94.15-cdh4.6.0)

    本手册将详细阐述如何在 HA (High Availability，高可用性) 模式下安装 CDH4，并特别关注 HBase 的配置。 **1. 环境准备** - **主机**：首先，你需要准备至少三台机器作为集群的基础，包括一个 NameNode，一个 ...

    Hbase-ha集群搭建.docx

    在资源《hadoop整合zoomkeeper高可用集群搭建》上继续

    Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合，Hadoop-2.X使用HA方式

    Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合，Hadoop-2.X使用HA方式

    hadoop-1.2.1 + zooKeeper3.4.5 + hbase-0.94集群安装部署

    企业内部实际 hadoop zookeeper hbase搭建步骤明细

    Hbase与Hive的安装参照手册.pdf

    ### HBase与Hive安装及配置详解 #### 一、Hadoop HA高可用性验证 ...以上步骤详细介绍了如何验证Hadoop HA高可用性以及如何安装配置HBase 1.4.10。这些步骤对于构建一个稳定可靠的分布式数据处理平台非常重要。

    cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】

    cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建，还有自动化启动脚本。只需要复制粘贴命令，就可以完成。3台机器。相关资源可以留言发邮件，我发资料。cdh...

    Hadoop2.7Hbase1.1.3高可用集群安装与部署.pdf

    ### Hadoop2.7 HBase1.1.3 高可用集群安装与部署知识点解析 #### 一、部署前准备 - **操作系统**: CentOS 6.5_x64 - **安装目录**: /opt #### 二、节点分配 根据文档提供的节点分配表,我们可以了解到以下信息: ...

    spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

    本项目旨在搭建一套完整的Spark集群环境，包括Hadoop HA（高可用）、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务，能够有效地支持实时数据流...

    Hadoop2.6.2、Hbase1.1.2 HA

    在IT行业中，分布式存储和计算框架是大数据处理的关键技术，Hadoop 2.6.2、HBase 1.1.2以及Hive 1.2.1是这些领域的核心组件，它们共同构建了一个高可用性（HA）的生态系统。这里我们将深入探讨这三个组件以及它们在...

    hbase安装，节点添加，移除，常见问题解决

    在Hadoop HA（高可用）环境中安装HBase，需要确保Hadoop的NameNode也是HA模式，并且配置了多个Zookeeper实例，这样可以提高整个系统的稳定性。 接下来是HBase节点的动态添加与移除： 1. 添加节点：在新节点上完成...

    hadoop2.2 hbase0.96.2 hive 0.13.1整合部署

    7. **HBase安装**：下载并解压HBase，配置HBase的环境变量，如`HBASE_HOME`、`HBASE_CLASSPATH`，并根据Hadoop配置调整HBase配置文件。 8. **HBase与Hadoop整合**：设置HBase的HDFS和MapReduce配置，使HBase能够使用...

    HBase_Secondary_Index

    文档的页面内容中提到了华为的一些具体贡献，例如在Hive HA（高可用性）稳定性方面，自2011年1月以来，他们修复了650多个缺陷，并且把修复贡献回社区。这说明了华为不仅在HBase二级索引方面有技术积累，也在整个...

    HBase集群搭建

    ### HBase集群搭建详解...综上所述，HBase集群的搭建不仅涉及到HBase本身的组件安装和配置，还需要关注底层HDFS的配置优化。正确的配置可以大大提高HBase集群的稳定性和性能，使其能够更好地服务于大规模数据处理任务。

    Hadoop-2.8.0-Day07-HA-Hive安装部署与HQL-课件与资料.zip

    在本课程中，我们将深入探讨Hadoop 2.8.0版本中的高可用性(HA)配置，以及如何安装和部署Hive以及使用HQL进行数据处理。Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它使得在大规模数据集上运行应用程序...

    HBase高可用HA.pdf

    在大数据存储和处理领域中，HBase的高可用性（High Availability，简称HA）是保证业务连续性和用户数据安全的关键特性。HBase是一个开源的非关系型分布式数据库，它基于Google的BigTable设计，运行在Hadoop文件系统...

    hadoop-HA搭建+hbase.docx

    初学Hadoop时试验搭建很多次的集群部署方案，步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode

    Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤

    Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤

    hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结

    ### hadoop2.2、hbase0.96与hive0.12的安装整合及高可靠部署 #### 一、Hadoop2.2的安装与配置 **1.1 安装前准备** - **操作系统环境**: Linux系统（推荐CentOS 6.x） - **JDK安装**: Hadoop依赖于JDK运行，需先...

    藏经阁-HBase 高可用HA.pdf

    "HBase 高可用HA 实践经验" 本文将围绕 HBase 高可用HA 的实现经验进行详细的讲解，基于 Sift Science 的实际案例，探讨 HBase 在大规模数据存储和高并发请求下的可用性挑战，并介绍了 Circuit Breaking 的解决方案...

Magicbox
Global site tag (gtag.js) - Google Analytics