一、ZooKeeper概述
Zookeeper 是为分布式应用程序提供高性能协调服务的工具集合,也是Google的Chubby一个开源的实现,是Hadoop 的分布式协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现配置维护、命名服务、分布式同步、组服务等。Zookeeper可以用来保证数据在ZK集群之间的数据的事务性一致。其中ZooKeeper提供通用的分布式锁服务,用以协调分布式应用。
Zookeeper作为Hadoop项目中的一个子项目,是 Hadoop集群管理的一个必不可少的模块,它主要用来解决分布式应用中经常遇到的数据管理问题,如集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等。在Hadoop中,它管理Hadoop集群中的NameNode,还有在Hbase中Master Election、Server 之间状态同状步等。
Zoopkeeper 提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型。
Ps:进行负载均衡的高可用的架构
二、下载与安装
1、下载
官方网址:http://zookeeper.apache.org/
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
2、解压
tar -zvxf zookeeper-3.4.8.tar.gz
3、配置conf/zoo.cfg
进入根目录的conf目录里,复制一份zoo_example.cfg 文件为zoo.cfg
cd conf
cp zoo_sample.cfg zoo.cfg
dataDir: 数据存放的位置
dataLogDir 日志文件夹
ClientPort 端口默认是2181
Server.1 zookeeper集群里节点ID,这个id是在整个集群里唯一的。
同时编写data/myid 的值为 1
三、启动与停止
1、启动
进入根目录的bin目录,执行:
./zkServer.sh start
2、停止
进入根目录的bin目录,执行:
./zkServer.sh stop
四、集群部署
1、myid 文件
2、zoo.cfg
3台以上的机器可以组成集群。个数是3/5/7奇数台机器。偶数台机器没有用。
本例使用3台机器演示搭建集群。这3台机器里zookeeper的ID分别为1、2、3。配置如下所示:
server.1=10.10.56.80:2888:3888
server.2=10.10.56.81:2888:3888
server.3=10.10.56.82:2888:3888
server.A=B:C:D
其中A是一个数字,标示这是第几号服务器;B是这个服务器的ip地址;C标示的是这个服务器与集群中的Leader服务器交换信息的端口;D标示的是万一集群中Leader服务器挂了,需要一个端口来进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
集群中ID不能重复。ID的配置是在$dataDir/myid中配置的。myid是一个文件,文件的内容就是ID。
3、状态监测
./zkServer.sh status
====================================================
./zkServer.sh status
4、登录客户端
./zkCli.sh -server 127.0.0.1:2181
5、增删查
create /c1project c1projecttest 增
get /c1project 查
ls / 查
rmr /c1project 删除
相关推荐
zookeeper Linux 集群搭建流程 ZooKeeper 是一个广泛使用的分布式协调服务,主要用于管理和协调分布式系统中的各个节点。Linux 集群搭建是 ZooKeeper 的一种常见应用场景,本文将详细介绍 ZooKeeper Linux 集群搭建...
【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上,以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台,而Zookeeper是Apache...
首先,让我们详细了解一下Zookeeper集群的搭建步骤: 1. **环境准备**:确保你拥有 VMware 虚拟机环境,装有 CentOS7 的操作系统,并熟悉基本的Linux命令操作。 2. **Zookeeper安装**:下载并解压Zookeeper到指定...
### Linux下Zookeeper集群的安装详解 #### 一、Zookeeper概述及主要功能 ##### Zookeeper简介 Zookeeper是一款开源的分布式协调服务组件,属于Apache顶级项目之一。它主要用于简化分布式应用程序的开发过程,为...
基于linux的ZooKeeper安装以及ACtive集群搭建
Solr-Zookeeper-Tomcat集群搭建教程 在大数据和搜索引擎领域,Apache Solr是一个非常流行的全文检索服务。它能够提供高效、可扩展的搜索和分析功能。为了实现高可用性和负载均衡,通常会将Solr部署在分布式环境中,...
以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop:Hadoop是Apache软件基金会的一个开源项目,主要负责大数据的分布式存储和计算。它由两个主要部分组成:HDFS(Hadoop Distributed File ...
在本地搭建Zookeeper伪集群是开发者在测试和学习Zookeeper时常用的一种方式,它可以让用户在单机环境中模拟多节点集群的工作状态,而无需复杂的网络配置。以下将详细介绍如何进行Zookeeper本地伪集群的搭建。 首先...
### Zookeeper和Kafka集群搭建知识点详解 #### 一、基础知识概述 - **Zookeeper**:分布式协调服务,主要用于维护和监控共享数据的状态变化,从而达到集群之间进行数据同步的目的。 - **Kafka**:分布式流处理平台...
6. **配置Kafka**:修改`config/server.properties`,设置`zookeeper.connect`为Zookeeper集群的连接字符串,例如 `zookeeper.connect=ip1:port1,ip2:port2,ip3:port3`。同时,配置其他参数,如`broker.id`,确保每...
4. **集群中大多数的机器得到响应并跟随选出的Leader**:为了确保系统的高可用性,ZooKeeper集群要求至少一半以上的节点参与选举并确认选定的Leader。 #### 三、伪集群模式搭建过程 本节将详细介绍如何在CentOS ...
总结来说,搭建 Zookeeper 伪集群或集群主要涉及安装、配置以及启动服务。在配置过程中,理解并正确设置 Zookeeper 的核心参数至关重要,这将直接影响集群的稳定性和性能。同时,确保集群内的通信畅通无阻也是成功...
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase) 一、Hadoop HA高可用集群概述 在大数据处理中,高可用集群是非常重要的,Hadoop HA高可用集群可以提供高可靠性和高可用性,确保数据处理不中断。该集群由...
ZooKeeper 3.4.7 版本的集群搭建在Linux系统上,以下是详细步骤: 1. **下载与上传**: 首先,从官方源 `http://apache.opencas.org/zookeeper/zookeeper-3.4.7/` 下载 `zookeeper-3.4.7.tar.gz` 到本地,然后将...
### Hadoop+Zookeeper+Hbase集群搭建知识点详解 #### 一、安装环境要求 **1.1 HBase与JDK兼容性** - **Apache HBase** 的版本选择需考虑其与 Java Development Kit (JDK) 的兼容性。具体而言: - Apache HBase ...
Zookeeper集群搭建是一个重要的任务,尤其在分布式系统中,它作为协调服务,为高可用性和数据一致性提供了基础。Zookeeper是Apache的一个开源项目,用于处理分布式应用中的命名服务、配置管理、集群同步、选举等功能...
**集群搭建步骤** 1. **安装Java环境**:Kafka、Zookeeper和Redis都需要Java运行环境,首先确保系统已安装JDK,并设置好环境变量。 2. **下载软件**:从官方网站或者镜像站点下载Zookeeper、Kafka和Redis的最新...
实现zookeeper搭建单机集群,分机器搭建也可以。只要更改这个配置文件就可以了 start(){ sh /Users/mac/linuxsoft/zk-cluster/zookeeper-3.4.6/bin/zkServer.sh start /Users/mac/linuxsoft/zk-cluster/zookeeper...
此附件是快速搭建zookeeper集群的脚本,方便灵活,减少了自己一大堆复杂的操作,像运行服务一样执行几条start,stop等命令即可轻松完成集群搭建。
### ZooKeeper安装与配置详解 #### 一、Zookeeper的三种搭建方式 ##### 1. 单机模式 - **定义**: Zookeeper仅在一台服务器上运行,适用于开发和测试环境。 - **特点**: 不具备容错能力,主要用于快速原型开发和...