最新文章列表

zookeeper3.4.5升级到3.4.14同时选举节点缩容或迁移

兼容性问题         理论上小版本升级只是修改bug,不存在兼容性问题,但是涉及到线上应用难免有些担心。测试后证明是兼容的,已经将线上服务器从3.4.x统一升级到3.4.14。   本文所说的缩容是指减少选举节点数量,将选举节点改成观察者节点。 原则:        1、每次缩容的节点数必须是选举节点总数的一小半;        2、缩容操作时,修改顺序:           ...
pcpig 评论(0) 有707人浏览 2020-07-25 22:01

zookeeper迁移方案

采用版本: 3.4.14 2 April, 2019: release 3.4.14 available 集群规模: 5+N,5个选举节点,N个观察者节点 硬件要求: 16核CPU + 32G内存+ 2块物理硬盘,1个SSD,另一个不做要求 用虚机的话,避免分在同一个宿主机上,避免一挂全挂 存在的困难: 很多应用采用的是ip连接方式,ip变更的话需要显式切换(写在代码里面的需要重新编译;写在 ...
pcpig 评论(0) 有485人浏览 2020-07-15 15:07

分布式锁、会话、事务等学习记要

1.zookeeper使用场景 分布式协调、分布式锁、元数据/配置管理、HA高可用场景   2.Redis分布式锁 普通实现方法(key+随机值)缺陷:redis失效时会导致锁失效 RedLock算法   3.zookeeper分布式锁   4.分布式session Tomcat+Redis, Spring session+Redis   5.分布式事务 XA(两阶段提 ...
tvmovie 评论(0) 有417人浏览 2020-01-10 14:52

Spring Cloud(17)——使用Zookeeper进行服务注册与发现

使用Zookeeper进行服务注册与发现 服务注册(ServiceRegistry)与发现(DiscoveryClient)在Spring Cloud中都进行了抽象。除了之前介绍的Eureka外,Spring Cloud也支持使用Zookeeper作为服务的注册中心。基于Zookeeper的服务注册由org.springframework.cloud.zookeeper.serviceregis ...
234390216 评论(0) 有2925人浏览 2019-10-23 23:16

Zookeeper 查看 Dubbo 服务列表

黑白名单异常是 Dubbo 服务常见的问题。 异常示例: com.alibaba.dubbo.rpc.RpcException: Forbid consumer 10.1.2.3 access service demo.service.DemoService from registry 10.1.2.3:2181 use dubbo version 2.8.4, Please check r ...
草料场 评论(0) 有1104人浏览 2019-08-27 16:28

ZooKeeper安全认证机制

ZooKeeper安全认证机制:ZNode ACL ZooKeeper的Client-Server互认证机制是从3.4.0版本开始引入的,本文主要介绍znodes的ACL的定义,任务服务接口定义与几种已有的认证服务实现,以及ACL与多种认证服务是如何建立联系的。本文内容基于ZooKeeper 3.5.1版本。   ACL ZooKeeper的ACL可针对znodes设置相应的权限信息。A ...
yuqingshui 评论(0) 有3331人浏览 2019-06-27 20:58

zookeeper客户端比较(三)

        在上面一篇文章主要总结了zookeeper的服务端数据的同步机制算法的了解,这里自己总结下客户端和服务端是如何进行数据交互的。         我们都知道zookeeper可以用作分布式引用程序管理配置信息,那么我们是如何保证配置信息在zookeeper服务器上面发生变化后客户端怎么去感知?这里就需要说到zookeeper的watch机制了,在代码中我们需要去订阅指定路径下面的 ...
357029540 评论(0) 有1316人浏览 2019-05-13 14:03

zookeeper集群选举机制(二)

        在上面我们总结了简单的zookeeper集群的配置,也提到了集群中的leader和follower,那么我们是如何选举出leader的呢?这里需要先了解下paxos算法, ...
357029540 评论(0) 有756人浏览 2019-05-11 18:39

zookeeper简单介绍及配置属性(一)

       zookeeper是一个集中服务的开源框架,现在的版本是3.4.14,它可用于管理配置信息、命名空间、分布式同步以及提供分组服务。它的数据存在于 ...
357029540 评论(0) 有700人浏览 2019-05-09 16:59

zk集群剩下过半才可提供服务的说法

  zk需要当即后,剩下过半才可提供服务的说法   只有一台无法实现选主,无法集群:3台服务器组成集群,其中两台关闭仅剩一台,则客户端无法连接上zookeeper   2台即以上可以选主,基数和偶数的容错率一样,所以没有必要偶数     就是说如果有2个zookeeper,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0; ...
y806839048 评论(0) 有501人浏览 2019-05-06 10:40

linux 日志kafka 写mongodb

  linux 日志kafka 写mongodb    1. 安装 java    jdk-8u151-linux-x64.tar.gz scp -r *.tar.gz zkkafka@10.156.50.36:/home/zkkafka/ scp -r *.tar.gz zkkafka@10.156.50.37:/home/zkkafka/ tar xf jdk-8 ...
knight_black_bob 评论(0) 有1209人浏览 2019-04-25 16:32

Java操作zookeeper集群

pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h ...
zhoupinheng 评论(0) 有378人浏览 2019-04-23 20:20

Kafka部署及使用(单节点/集群)

从kafka-0.9版本及以后,kafka的消费者组和offset信息就不存zookeeper了,而是存到broker服务器上 三种安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka。Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置 ...
flylynne 评论(0) 有1923人浏览 2019-04-14 23:40

zookeeper 设置IP白名单

应用场景:  避免zk乱入     比如测试环境zk在192.168.10.2:2181上,     3个dubbo节点分别在192.168.10.2/4上,避免开发环境其他网段ip注册到测试环境上,     导致测试节点的dubbo消费者通过zk调用了开发环境的dubbo服务提供者,影响测试。# 启动zookeeper客户端 ${ZK_HOME}为zookeeper安装目录${ZK_HOME} ...
明子健 评论(0) 有5349人浏览 2019-03-20 19:57

Zookeeper的两种安装和配置(Windows):单机模式与集群模式

Zookeeper有两种运行模式:集群模式和单机模式。       安装环境     1.系统环境       zk对不同系统环境支持都很好,在绝大多数主流的操作系统上都能够正常运行,如:GNU/linux、Sun Solaris、Win32以及MacOSX等。需要注意的是,Zookeeper官方文档中特别强调,由于FreeBSD系统的JVM对Java的NIO Selector支 ...
y806839048 评论(0) 有421人浏览 2019-01-07 14:38

Zookeeper(一)伪分布集群搭建

Zookeeper(一)伪分布集群搭建    zookeeper学习中……   1.下载压缩包  http://mirror.bit.edu.cn/apache/zookeeper/   2.解压安装,老套路过程不表   3.伪分布式集群搭建 3台为例    3.1 满足单数机器部署(半数以上存活,集群可用)     2台机器:半数以上 > 1  不允许有机器挂     ...
TableMiao 评论(0) 有501人浏览 2018-10-10 18:11

zookeeper实现分布式锁和配置中心

一、Zookeeper实现分布式锁 分布式锁主要用于在分布式环境中保证数据的一致性。 包括跨进程、跨机器、跨网络导致共享资源不一致的问题。 1. 分布式锁的实现思路 说明: 这种实现会有一个缺点,即当有很多进程在等待锁的时候,在释放锁的时候会有很多进程就过来争夺锁,这种现象称为 “惊群效应” 2. 分布式锁优化后的实现思路  
dwj147258 评论(0) 有1665人浏览 2018-10-05 13:52

Zookeeper客户端Curator详解

  Zookeeper客户端Curator使用详解 前提 最近刚好用到了zookeeper,做了一个基于SpringBoot、Curator、Bootstrap写了一个可视化的Web应用: zookeeper-console 欢迎使用和star。 简介 Curator是Netflix公司开源的一套zookeeper客户端框架,解决了很多Zookeeper客户端非常底层的细节开 ...
dwj147258 评论(0) 有658人浏览 2018-10-05 09:56

zookeeper学习笔记(二)

在zookeeper学习笔记(一)中记录了zookeeper相关概念,这一篇是使用zookeeper开发。 一、安装 zookeeper的安装参考 Kafka学习笔记【二】-安装 中的第二章节,注意zookeeper.propertis对应为zoo.properties. 安装完成之后,可以使用客户端命令: zkCli.cmd -timeout 5000 -server 192.168.3.11 ...
zhenggm 评论(0) 有773人浏览 2018-09-06 19:14

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics