`

zookeeper安装与集群搭建

阅读更多

一、ZooKeeper概述

     Zookeeper 是为分布式应用程序提供高性能协调服务的工具集合,也是GoogleChubby一个开源的实现,是Hadoop 的分布式协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现配置维护、命名服务、分布式同步、组服务等。Zookeeper可以用来保证数据在ZK集群之间的数据的事务性一致。其中ZooKeeper提供通用的分布式锁服务,用以协调分布式应用。 

Zookeeper作为Hadoop项目中的一个子项目, Hadoop集群管理的一个必不可少的模块,它主要用来解决分布式应用中经常遇到的数据管理问题,如集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等。在Hadoop中,它管理Hadoop集群中的NameNode,还有在HbaseMaster ElectionServer 之间状态同状步等。 

Zoopkeeper 提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型。 

Ps:进行负载均衡的高可用的架构

二、下载与安装

 1、下载

 官方网址:http://zookeeper.apache.org/

 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz

 2、解压

 tar -zvxf zookeeper-3.4.8.tar.gz

 3、配置conf/zoo.cfg

 进入根目录的conf目录里,复制一份zoo_example.cfg 文件为zoo.cfg

cd conf

 cp zoo_sample.cfg zoo.cfg 


dataDir:                   数据存放的位置 

dataLogDir                日志文件夹 

ClientPort                 端口默认是2181 

Server.1                   zookeeper集群里节点ID,这个id是在整个集群里唯一的。

 同时编写data/myid 的值为 1

 三、启动与停止

 1、启动 

进入根目录的bin目录,执行: 

./zkServer.sh start 

2、停止 

进入根目录的bin目录,执行: 

./zkServer.sh stop  
 

四、集群部署

1myid 文件

 
 2zoo.cfg

       3台以上的机器可以组成集群。个数是3/5/7奇数台机器。偶数台机器没有用。 

本例使用3台机器演示搭建集群。这3台机器里zookeeperID分别为123。配置如下所示: 

server.1=10.10.56.80:2888:3888 

server.2=10.10.56.81:2888:3888 

server.3=10.10.56.82:2888:3888 

server.A=B:C:D 

其中A是一个数字,标示这是第几号服务器;B是这个服务器的ip地址;C标示的是这个服务器与集群中的Leader服务器交换信息的端口;D标示的是万一集群中Leader服务器挂了,需要一个端口来进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。 

集群中ID不能重复。ID的配置是在$dataDir/myid中配置的。myid是一个文件,文件的内容就是ID。 

3、状态监测 

./zkServer.sh status

 
 ====================================================

 ./zkServer.sh status

 
  4、登录客户端

 ./zkCli.sh -server 127.0.0.1:2181

 
  5、增删查

 create /c1project c1projecttest    

 get /c1project

 ls / 

 rmr /c1project 删除

 
 
 
 

  • 大小: 84.6 KB
  • 大小: 66.5 KB
  • 大小: 12.7 KB
  • 大小: 21.4 KB
  • 大小: 20.8 KB
  • 大小: 18.4 KB
  • 大小: 49.1 KB
  • 大小: 9.4 KB
  • 大小: 20 KB
分享到:
评论

相关推荐

    zookeeper linux集群搭建流程

    zookeeper Linux 集群搭建流程 ZooKeeper 是一个广泛使用的分布式协调服务,主要用于管理和协调分布式系统中的各个节点。Linux 集群搭建是 ZooKeeper 的一种常见应用场景,本文将详细介绍 ZooKeeper Linux 集群搭建...

    kafka+zookeeper高可用集群搭建shell使用脚本

    【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上,以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台,而Zookeeper是Apache...

    zookeeper+hbase集群搭建

    首先,让我们详细了解一下Zookeeper集群的搭建步骤: 1. **环境准备**:确保你拥有 VMware 虚拟机环境,装有 CentOS7 的操作系统,并熟悉基本的Linux命令操作。 2. **Zookeeper安装**:下载并解压Zookeeper到指定...

    Linux下Zookeeper集群的安装

    ### Linux下Zookeeper集群的安装详解 #### 一、Zookeeper概述及主要功能 ##### Zookeeper简介 Zookeeper是一款开源的分布式协调服务组件,属于Apache顶级项目之一。它主要用于简化分布式应用程序的开发过程,为...

    基于linux的ZooKeeper安装以及ACtive集群搭建

    基于linux的ZooKeeper安装以及ACtive集群搭建

    solr-zookeeper-tomcat集群搭建

    Solr-Zookeeper-Tomcat集群搭建教程 在大数据和搜索引擎领域,Apache Solr是一个非常流行的全文检索服务。它能够提供高效、可扩展的搜索和分析功能。为了实现高可用性和负载均衡,通常会将Solr部署在分布式环境中,...

    hadoop+zookeeper+hbase集群搭建配置说明

    以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop:Hadoop是Apache软件基金会的一个开源项目,主要负责大数据的分布式存储和计算。它由两个主要部分组成:HDFS(Hadoop Distributed File ...

    有关zookeeper本地伪集群搭建的配置

    在本地搭建Zookeeper伪集群是开发者在测试和学习Zookeeper时常用的一种方式,它可以让用户在单机环境中模拟多节点集群的工作状态,而无需复杂的网络配置。以下将详细介绍如何进行Zookeeper本地伪集群的搭建。 首先...

    Zookeeper和kafka集群搭建手册

    ### Zookeeper和Kafka集群搭建知识点详解 #### 一、基础知识概述 - **Zookeeper**:分布式协调服务,主要用于维护和监控共享数据的状态变化,从而达到集群之间进行数据同步的目的。 - **Kafka**:分布式流处理平台...

    zookeeper+kafka集群搭建及安装包

    6. **配置Kafka**:修改`config/server.properties`,设置`zookeeper.connect`为Zookeeper集群的连接字符串,例如 `zookeeper.connect=ip1:port1,ip2:port2,ip3:port3`。同时,配置其他参数,如`broker.id`,确保每...

    Zookeeper伪分布式集群环境搭建过程

    4. **集群中大多数的机器得到响应并跟随选出的Leader**:为了确保系统的高可用性,ZooKeeper集群要求至少一半以上的节点参与选举并确认选定的Leader。 #### 三、伪集群模式搭建过程 本节将详细介绍如何在CentOS ...

    zookeeper 伪集群和集群环境搭建

    总结来说,搭建 Zookeeper 伪集群或集群主要涉及安装、配置以及启动服务。在配置过程中,理解并正确设置 Zookeeper 的核心参数至关重要,这将直接影响集群的稳定性和性能。同时,确保集群内的通信畅通无阻也是成功...

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase) 一、Hadoop HA高可用集群概述 在大数据处理中,高可用集群是非常重要的,Hadoop HA高可用集群可以提供高可靠性和高可用性,确保数据处理不中断。该集群由...

    zookeeper-3.4.7集群搭建.docx

    ZooKeeper 3.4.7 版本的集群搭建在Linux系统上,以下是详细步骤: 1. **下载与上传**: 首先,从官方源 `http://apache.opencas.org/zookeeper/zookeeper-3.4.7/` 下载 `zookeeper-3.4.7.tar.gz` 到本地,然后将...

    Hadoop+Zookeeper+Hbase集群搭建

    ### Hadoop+Zookeeper+Hbase集群搭建知识点详解 #### 一、安装环境要求 **1.1 HBase与JDK兼容性** - **Apache HBase** 的版本选择需考虑其与 Java Development Kit (JDK) 的兼容性。具体而言: - Apache HBase ...

    Zookeeper集群搭建.doc

    Zookeeper集群搭建是一个重要的任务,尤其在分布式系统中,它作为协调服务,为高可用性和数据一致性提供了基础。Zookeeper是Apache的一个开源项目,用于处理分布式应用中的命名服务、配置管理、集群同步、选举等功能...

    centos7下kafka和zookeeper和Redis集群搭建.zip

    **集群搭建步骤** 1. **安装Java环境**:Kafka、Zookeeper和Redis都需要Java运行环境,首先确保系统已安装JDK,并设置好环境变量。 2. **下载软件**:从官方网站或者镜像站点下载Zookeeper、Kafka和Redis的最新...

    zookeeper搭建集群

    实现zookeeper搭建单机集群,分机器搭建也可以。只要更改这个配置文件就可以了 start(){ sh /Users/mac/linuxsoft/zk-cluster/zookeeper-3.4.6/bin/zkServer.sh start /Users/mac/linuxsoft/zk-cluster/zookeeper...

    zookeeper集群搭建脚本

    此附件是快速搭建zookeeper集群的脚本,方便灵活,减少了自己一大堆复杂的操作,像运行服务一样执行几条start,stop等命令即可轻松完成集群搭建。

    ZooKeeper安装配置 集群

    ### ZooKeeper安装与配置详解 #### 一、Zookeeper的三种搭建方式 ##### 1. 单机模式 - **定义**: Zookeeper仅在一台服务器上运行,适用于开发和测试环境。 - **特点**: 不具备容错能力,主要用于快速原型开发和...

Global site tag (gtag.js) - Google Analytics