`
san_yun
  • 浏览: 2654701 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

zookeeper 集群不可用小结

 
阅读更多
今天遇到一个问题,zookeeper集群有5台机器,其中有一台由于硬件故障挂掉了,结果整个集群都不可用。

后来查了一下原因原来是syncLimit配置为5,这个配置表示sync的timeout有5个tick,tickTime我们配置的2000ms,那么就是10S,看了一下zk的data数据有200MB,在10S内其实不一定能同步完成,每次zk选举都会同步data,由于syncLimit设置的太短,失败之后再次重新选举,然后再次超时,导致集群不可用

解决方案很简单,调大syncLimit.

分享到:
评论

相关推荐

    zookeeper入门材料.pdf

    1.9 Zookeeper小结 Zookeeper作为一个分布式协调服务,其设计目标是确保分布式数据的一致性和可靠性,同时提供简单易用的API给应用层,是实现分布式系统协调机制的基石。 2. 设计思想 Zookeeper的设计思想主要基于...

    zookeeper部署与基本操作.docx

    在Hadoop集群中部署Zookeeper,通常需要多台主机共同构成一个Zookeeper集群,以确保高可用性和容错性。 **关键步骤:** 1. **配置环境**:在每台参与部署的主机上安装Java环境,并下载Zookeeper的安装包。 2. **...

    zookeeper的搭建及使用

    ### ZooKeeper基础知识与...通过这些步骤,用户不仅能够了解如何在本地环境中快速部署ZooKeeper,还能够掌握如何构建一个高可用的分布式ZooKeeper集群。这为后续利用ZooKeeper进行分布式应用程序开发打下了坚实的基础。

    centos7下搭建ZooKeeper3.4中间件常用命令小结

    通过这些命令,你可以对ZooKeeper进行基本的管理,包括创建、读取、更新和删除节点,以及监控ZooKeeper集群的状态。在实际的分布式环境中,ZooKeeper还有更多高级特性,如选举、watcher等,它们对于实现高可用和一致...

    zookeeper笔记

    ### 小结 ZooKeeper 作为一款优秀的分布式协调工具,通过其独特的架构设计和核心组件(如 Zab 协议、Znode、Watcher 机制及 Zxid 等),有效解决了分布式系统中的许多复杂问题,如数据一致性、服务发现、配置管理等...

    Elasticsearch分布式一致性原理剖析(一)-节点篇1

    小结** 理解Elasticsearch的分布式一致性原理至关重要,它涉及到节点类型、节点发现、选举机制等多个方面。正确配置和管理这些机制,能够确保集群的稳定运行和数据一致性。 总之,Elasticsearch的分布式一致性设计...

    hadoop之cdh

    #### 小结 实现HDFS的高可用性对于构建可靠的大数据处理平台至关重要。通过本指南提供的信息,读者可以了解到如何在Cloudera的CDH平台上配置HDFS的高可用性,以及在实际部署过程中需要注意的一些关键硬件配置。遵循...

    10大HBase常见运维工具整理小结

    - **优点**:不通过HBase通道读取文件,不会影响集群运行。 - **实用性**:4星,能精准定位HFile是否存在故障。 3. **RowCounter和CellCounter工具** - **RowCounter**:使用MapReduce统计表行数。 - **...

    2021Java大厂面试题——大厂真题之唯品会-Java大数据开发工程师.pdf

    - 支持通过ZooKeeper实现高可用性。 - 对于大多数场景已经足够。 - **On YARN模式**: - 在YARN资源管理器框架之上运行。 - YARN负责资源管理和任务调度,Spark负责计算。 - **On Mesos模式**: - 在Mesos资源...

    kafka环境搭建

    #### 五、小结 通过以上步骤,我们已经在 Windows 和 Linux 环境下成功搭建了 Kafka 环境,并创建了一个 Topic 用于生产和消费消息。Kafka 的安装和配置过程相对简单,但对于大规模部署来说,还需要考虑更多的配置...

    云计算第三版精品课程配套PPT课件含习题(29页)第6章 Hadoop 2.0 大家族(三).pptx

    6.9 小结 Hadoop 2.0 家族是一个包含多个互补项目的生态系统,共同构成了一个强大的大数据处理和分析平台。从数据存储(HDFS)、分布式协调(ZooKeeper)、实时数据库(HBase)、数据分析(Pig、Hive)、工作流调度...

    云计算第三版精品课程配套PPT课件含习题(31页)第6章 Hadoop 2.0 大家族(二).pptx

    6.8 小结:这部分总结了Hadoop 2.0家族的主要组件及其在大数据处理中的作用,强调了它们在云计算环境中的重要性。 通过这个系列的课程,学习者可以从基础到高级全面了解云计算和Hadoop 2.0,不仅适合初学者入门,也...

    卢亿雷:Hadoop在网盘和在线备份的应用与挑战

    6. 小结: Hadoop在网盘和在线备份应用中面临着多种挑战,包括但不限于数据的有效存储和处理、高并发访问下的系统稳定性和性能、大数据量的分析挖掘、小文件存储问题的解决、备份文件至云端的优先级策略、文件全路径...

    Prometheus动态服务机制.pdf

    #### 四、小结 Prometheus 提供了多种灵活的服务发现机制,可以根据实际应用场景选择合适的配置方式。无论是简单的静态配置还是复杂的动态发现配置,都能够满足不同场景下的监控需求。通过以上介绍,我们可以更深入...

Global site tag (gtag.js) - Google Analytics