san_yun
- 浏览: 2663415 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
今天遇到一个问题，zookeeper集群有5台机器，其中有一台由于硬件故障挂掉了，结果整个集群都不可用。
后来查了一下原因原来是syncLimit配置为5，这个配置表示sync的timeout有5个tick,tickTime我们配置的2000ms,那么就是10S，看了一下zk的data数据有200MB，在10S内其实不一定能同步完成，每次zk选举都会同步data,由于syncLimit设置的太短，失败之后再次重新选举，然后再次超时，导致集群不可用
解决方案很简单，调大syncLimit.
后来查了一下原因原来是syncLimit配置为5，这个配置表示sync的timeout有5个tick,tickTime我们配置的2000ms,那么就是10S，看了一下zk的data数据有200MB，在10S内其实不一定能同步完成，每次zk选举都会同步data,由于syncLimit设置的太短，失败之后再次重新选举，然后再次超时，导致集群不可用
解决方案很简单，调大syncLimit.
分享到：
发表评论
相关推荐
1.9 Zookeeper小结 Zookeeper作为一个分布式协调服务，其设计目标是确保分布式数据的一致性和可靠性，同时提供简单易用的API给应用层，是实现分布式系统协调机制的基石。 2. 设计思想 Zookeeper的设计思想主要基于...
在Hadoop集群中部署Zookeeper，通常需要多台主机共同构成一个Zookeeper集群，以确保高可用性和容错性。 **关键步骤：** 1. **配置环境**：在每台参与部署的主机上安装Java环境，并下载Zookeeper的安装包。 2. **...
### ZooKeeper基础知识与...通过这些步骤，用户不仅能够了解如何在本地环境中快速部署ZooKeeper，还能够掌握如何构建一个高可用的分布式ZooKeeper集群。这为后续利用ZooKeeper进行分布式应用程序开发打下了坚实的基础。
通过这些命令，你可以对ZooKeeper进行基本的管理，包括创建、读取、更新和删除节点，以及监控ZooKeeper集群的状态。在实际的分布式环境中，ZooKeeper还有更多高级特性，如选举、watcher等，它们对于实现高可用和一致...
### 小结 ZooKeeper 作为一款优秀的分布式协调工具，通过其独特的架构设计和核心组件（如 Zab 协议、Znode、Watcher 机制及 Zxid 等），有效解决了分布式系统中的许多复杂问题，如数据一致性、服务发现、配置管理等...
小结** 理解Elasticsearch的分布式一致性原理至关重要，它涉及到节点类型、节点发现、选举机制等多个方面。正确配置和管理这些机制，能够确保集群的稳定运行和数据一致性。 总之，Elasticsearch的分布式一致性设计...
#### 小结 实现HDFS的高可用性对于构建可靠的大数据处理平台至关重要。通过本指南提供的信息，读者可以了解到如何在Cloudera的CDH平台上配置HDFS的高可用性，以及在实际部署过程中需要注意的一些关键硬件配置。遵循...
- **优点**：不通过HBase通道读取文件，不会影响集群运行。 - **实用性**：4星，能精准定位HFile是否存在故障。 3. **RowCounter和CellCounter工具** - **RowCounter**：使用MapReduce统计表行数。 - **...
- 支持通过ZooKeeper实现高可用性。 - 对于大多数场景已经足够。 - **On YARN模式**: - 在YARN资源管理器框架之上运行。 - YARN负责资源管理和任务调度，Spark负责计算。 - **On Mesos模式**: - 在Mesos资源...
#### 五、小结 通过以上步骤，我们已经在 Windows 和 Linux 环境下成功搭建了 Kafka 环境，并创建了一个 Topic 用于生产和消费消息。Kafka 的安装和配置过程相对简单，但对于大规模部署来说，还需要考虑更多的配置...
6.9 小结 Hadoop 2.0 家族是一个包含多个互补项目的生态系统，共同构成了一个强大的大数据处理和分析平台。从数据存储（HDFS）、分布式协调（ZooKeeper）、实时数据库（HBase）、数据分析（Pig、Hive）、工作流调度...
6.8 小结：这部分总结了Hadoop 2.0家族的主要组件及其在大数据处理中的作用，强调了它们在云计算环境中的重要性。 通过这个系列的课程，学习者可以从基础到高级全面了解云计算和Hadoop 2.0，不仅适合初学者入门，也...
6. 小结： Hadoop在网盘和在线备份应用中面临着多种挑战，包括但不限于数据的有效存储和处理、高并发访问下的系统稳定性和性能、大数据量的分析挖掘、小文件存储问题的解决、备份文件至云端的优先级策略、文件全路径...
#### 四、小结 Prometheus 提供了多种灵活的服务发现机制，可以根据实际应用场景选择合适的配置方式。无论是简单的静态配置还是复杂的动态发现配置，都能够满足不同场景下的监控需求。通过以上介绍，我们可以更深入...