`
qindongliang1922
  • 浏览: 2187928 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117630
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126035
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59985
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71374
社区版块
存档分类
最新评论

图解Hbase之使用外置Zookeeper分布式集群

阅读更多
散仙,在上篇文章,已经介绍了Hbase的完全分布式集群部署,这次要介绍的,也是基于Hbase的完全分布式集群,只不过集群的zookeeper与上次的不同,我们都知道Hbase为了简化集群部署,已经内置了zookeeper,大部分时候使用内置的zookeeper都可以非常方便的部署集群,而这一点与solr中solrcloud的集群部署非常相似,solrcloud也内置了zookeeper了,启动的时候可以由solr负责启动zookeeper,而在Hbase中,则是由Hbase负责启动zookeeper的。

其实,大多数的分布式应用框架,都离不开zookeeper这个统一协作服务,当然,我们也可以不用其内置的 zookeeper,由我们自己来安装维护独立的zookeeper集群,关于外置和内置的zookeeper也算各有利弊吧,散仙在此,就不加以评论了,下面开始进入正题,配置独立的zookeeper集群来管理Hbase。



在这之前,需要注意的是,如果使用的是外置zookeeper那么这个zookeeper版本号,建议跟Hbase里面内置的zookeeper版本保持一致,这样尽可能避免出现一些莫名其妙的错误。总结的步骤,如下图所示:

顺序内容
配置Hbase的hbase-env.sh文件
配置下载的zookeeper3.4.5
分发zookeeper到每个节点上


第一步,配置hbase-env.sh内容截图如下:


第二步,配置zookeeper,修改其config目录下zoo_simple.cfg重命名为zoo.cfg,并在其data目录(自己手动创建)下,新建一个myid文件,server.x后面的x数字一直即可,修改其内容如以下截图:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zookeeper/data
clientPort=2181

server.1=10.2.143.5:2887:3887
server.2=10.2.143.36:2888:3888
server.3=10.2.143.37:2889:3889






第三步,使用scp命令,进行远程拷贝zookeeper到子节点,需要注意的是,zookeeper的配置个数只能是奇数个,一般建议是3或5个比较好,当然你也可以配置更多,来保证集群的稳定性。,截图如下:



最后我们就可以关闭防火墙,来启动集群了,注意集群启动的顺序,先启动hadoop集群,然后到各个节点上启动Zookeeper,最后再启动Hbase集群,启动成功后,jps打印命令如下:


访问Hbase首页Web的截图如下:


使用Java API操作Hbase,示例如下截图:

然后,我们使用Hbase shell在服务器上验证,刚才的建表步骤是否成功,截图如下:




至此,我们已经成功完成,使用外置zookeeper与Hbase的集群。最后注意,停止集群的顺序,先关闭Hbase,然后再关闭zookeeper,最后关闭hadoop,好了,现在,你可以带着你的好奇心,去放心大胆的尝试部署了,加油!










  • 大小: 90.2 KB
  • 大小: 59 KB
  • 大小: 57.2 KB
  • 大小: 36.8 KB
  • 大小: 24.7 KB
  • 大小: 231.2 KB
  • 大小: 211.2 KB
  • 大小: 34.7 KB
1
0
分享到:
评论
1 楼 yancaofei 2013-11-21  
请问下使用外置的Zookeeper与内置相比有什么好处呢?

相关推荐

    Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6 搭建分布式集群环境详解

    本教程将深入探讨如何利用Hadoop2.7.3、HBase1.2.5和ZooKeeper3.4.6搭建一个完整的分布式集群环境,以支持大规模数据存储和处理。 首先,我们来了解下这三个组件的基本概念: 1. **Hadoop**:Apache Hadoop是一个...

    从Paxos到Zookeeper分布式一致性原理与实践PDF

    在实际应用中,Zookeeper被广泛应用于Hadoop、HBase、Kafka等分布式系统中,提供如集群管理、配置共享、服务发现等功能。例如,在Kafka中,Zookeeper用于管理生产者和消费者的元数据,协调 broker 的选举,以及维护...

    hadoop+hbase+zookeeper集群配置流程及文件

    集群配置完成后,通常还需要进行一些验证操作,如检查Hadoop的`dfs健康报告`、HBase的`master状态`以及Zookeeper的`集群状态`。同时,定期进行维护,如监控日志、性能调优和故障排查,是保持集群稳定运行的关键。 ...

    ZooKeeper分布式过程协同技术详解_new.pdf

    在实际应用中,ZooKeeper常用于构建分布式服务框架,如Hadoop、HBase、Kafka等。 本书首先会介绍ZooKeeper的基本概念和架构,包括其主从复制的集群模式、选举机制以及数据模型。读者将了解到ZooKeeper如何通过原子...

    从PAXOS到ZOOKEEPER分布式一致性原理与实践

    ZOOKEEPER的设计原则和实现机制使其在大规模分布式系统中表现出色,例如Hadoop、HBase、Kafka等知名项目都依赖于ZOOKEEPER来保证其分布式一致性。然而,理解和应用ZOOKEEPER并非易事,需要深入理解PAXOS等底层一致性...

    从Paxos到Zookeeper分布式一致性原理与实践 + ZooKeeper-分布式过程协同技术详解 pdf

    在《ZooKeeper-分布式过程协同技术详解》中,会详细介绍ZooKeeper的架构设计、核心功能、API使用以及最佳实践。例如,ZooKeeper的原子操作,如create、delete、exists、get、set等,这些操作都是单次完成的,不会...

    hbase配置内置的zookeeper

    在 HBase 的部署环境中,ZooKeeper 起着非常重要的作用,它主要用于协调集群中的各个节点,并且管理 HBase 的元数据。通常情况下,HBase 可以与独立的 ZooKeeper 服务进行集成,但为了简化部署过程,特别是对于小型...

    Hbase完全分布式集群搭建(详细+,看完就会,).docx

    HBase 完全分布式集群搭建 HBase 是一个基于 Hadoop 的分布式 Nosql 数据库,可以提供高性能、可靠的数据存储和查询服务。为了搭建一个完全分布式的 HBase 集群,我们需要了解 HBase 的架构、组件和配置。 一、...

    ZooKeeper分布式过程协同技术详解

    - **HBase**:使用ZooKeeper进行元数据管理和协调。 - **Kafka**:ZooKeeper负责管理集群的元数据,如主题分区分配、选举控制器等。 - **Storm**:依赖ZooKeeper进行拓扑的部署和监控。 - **Dubbo**:在服务治理...

    Docker Swarm部署Hadoop3.x + HBase2.x真正分布式集群环境配置参考资源

    采用Docker Swarm集群方式, 部署Hadoop3.x + HBase2.x的真正分布式集群环境,趟坑无数, 配置文件已整理好,内置Dockerfile构建文件、docker-compose脚本文件、hbase安装包、hadoop配置文件等。可以根据生产环境, ...

    《ZooKeeper分布式过程协同技术详解》PDF

    ZooKeeper的高可用性是其重要特性之一,书中会介绍ZooKeeper集群的搭建和运维,包括节点角色、容错机制以及故障恢复策略。这有助于读者理解如何保证ZooKeeper服务的稳定运行。 此外,书中的案例分析和最佳实践部分...

    Hadoop Zookeeper HBase集群

    标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件:Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先,Hadoop是Apache软件基金会开发的一个开源框架...

    Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件

    Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境

    ZooKeeper 分布式

    1. HBase的协调:HBase使用ZooKeeper进行元数据管理和Region Server的协调。 2. Kafka的协调:Kafka利用ZooKeeper进行Broker的选举,分配主题分区,以及消费者组的管理。 3. Spark的调度:Spark依赖ZooKeeper进行...

    [Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建

    [Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建

    hbase和zookeeper配置

    在 HBase 的配置文件 hbase-site.xml 中,我们需要定义一些重要的参数,例如根目录、主服务器、分布式集群和 ZooKeeper 信息。在我们的示例中,我们将根目录设置为 hdfs://hadoop01:9000/hbase,将主服务器设置为 ...

    hbase分布式安装(zookeeper3.4.8+hbase2.1.0).pdf

    hbase分布式安装(zookeeper3.4.8+hbase2.1.0).pdf

Global site tag (gtag.js) - Google Analytics