博客首页 → zookeeper

最新文章列表

Storm分布式流计算平台的部署安装

     目前大数据时代已经来临，面临大数据分布式、实时处理的多种技术平台，我们该如何选择？经过调研及逐步甄选，Storm和S4是相对比较突出的两个分布式流计算平台，Storm是由twitter开源，S4是雅虎开源，相对于S4，Storm的成熟度高稳定性好。包括阿里巴巴等大型公司的数据平台也在使用Storm。     搜罗了网上很多Storm的安装教程，大多数网友也是转载，没有一篇教程能够指导 ...
分布式流计算stormzookeeper 
ting570732 评论(1) 有3437人浏览 2013-03-21 11:50

Solr学习(三) 单独ZooKeeper(外部)实例 + SolrCloud(tomcat)实例

开场白： 简单讲述如何配置独立的外部 ZooKeeper 集群管理组件来管理 solr集群（多实例solr） 本章建立在 Solr学习(一)  、Soer学习（二）基础上进行配置。  声明：描述的比较笼统繁琐，有偏差的地方请大家毫不留情的拍砖 完成目标：  单zookeeper（独立）实例 + 多solr-4.2.0（tomcat）实例集群管理。   前期准备：  1、下载Zoo ...
solr4.2.0ZooKeeperSolrSolrCloud 
zhengchao860730 评论(4) 有5241人浏览 2013-03-21 11:23

Solr学习(一) Solr4.2.0+Tomcat6.0 (windows7平台环境)部署实践

学习背景：公司搜索平台项目需求，技术选型为Solr开源框架方面技术，后续多实例集群管理，ZooKeeper集群管理等。 本章节目的：单个实例Solr ， 在windows环境下，部署于tomcat6 上的案例。 声明：描述的比较笼统繁琐，有偏差的地方请大家毫不留情的拍砖   开始进入正题~~~ 环境及版本说明 操作系统 windows 7旗舰版  64位 处理器 I ...
solrzookeepertomcatsolr4.2.0windows7 
zhengchao860730 评论(0) 有2723人浏览 2013-03-20 22:52

计算过程中的故障和容灾处理

使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下： 总的来说，Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张，替开发者考虑处理方案，只有这样框架才能从特定场景中抽象出来，给开发者更灵活的发挥和去满足各种更复杂业务容错情况。 那么框 ...
分布式计算并行计算hadoopzookeeper 
fourinone 评论(0) 有2382人浏览 2013-03-04 13:29

Hbase,Zookeeper性能优化之-参数设置

zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除， ...
HbaseZookeeper 
zhangyiqian 评论(0) 有6718人浏览 2013-02-19 17:11

ZooKeeper源代码研究（一）

去年在工作中使用了ZooKeeper进行配置管理，今年准备进一步使用ZooKeeper，因此对其的源代码进行一下研究，也学习一下Java网络编程及异步IO。   首先从 http://svn.apache.org/repos/asf/zookeeper/tags/release-3.4.5 下载最新的release版本源代码，由于其使用Ivy进行依赖包进行，就先搞了一下Ivy环境。   i ...
ZooKeeper源代码 
nettm 评论(1) 有10241人浏览 2013-02-19 15:18

阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

   背景    早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版 ...
mysqlbinlogzookeeperreplaction 
agapple 评论(7) 有106982人浏览 2013-02-06 00:36

深入浅出Zookeeper之七分布式CREATE事务处理

前面几篇文章讲了follower和leader之间如何选举和初始化的，这一篇将以之前描述过的CREATE请求作为例子来描述在集群环境下是如何处理事务的。 关于cli ...
zookeeper分布式事务 
iwinit 评论(1) 有13875人浏览 2013-01-28 23:51

curator-client源码阅读笔记

Zookeeper官方client使用起来有很多不便，比如session expire之后需要使用一个新的ZooKeeper对象，提供的接口过于底层等等 Curator是对ZooKeeper的一个封装，其中curator-client是最底层的一个封装，主要是提供自动重连的功能 入口类 CuratorZookeeperClient本身是一个很简单的封装，只保存了retryPolicy和ense ...
javazookeepercurator 
kdlan 评论(3) 有5172人浏览 2013-01-26 15:50

深入浅出Zookeeper之六 Leader/Follower初始化

前一篇介绍了Leader选举，这一篇介绍选举成功之后Leader和Follower之间的初始化。 先看Leader端操作   case LEADING: LOG.info("LEADING"); try { //初始化Leader对象 ...
zookeeperleaderfollower 
iwinit 评论(1) 有12926人浏览 2013-01-25 00:00

ZooKeeper超级权限

Zookeeper的一个节点不知道什么原因无法删除了，查看日志发现是没有权限，我们之前使用ACL进行Zookeeper节点的权限管理。查阅了相关资料后发现Zookeeper居然有超级管理员，呵呵，这下好办了。   使用以下代码生成密码的密文： import java.io.IOException; import java.security.MessageDigest; import ja ...
zookeeper超级权限Acl 
nettm 评论(1) 有9557人浏览 2013-01-22 13:42

深入浅出Zookeeper之五 Leader选举

前面几篇文章简单介绍了zookeeper的单机server client处理。接下来几篇文章会介绍分布式部署下zookeeper的实现原理。我们假设有3台server的集群，zoo.cfg配置如下 tickTime=2000 dataDir=/home/admin/zk-data clientPort=2181 #Learner初始化连接到Leader的超时时间 initLimit=1 ...
zookeeper 
iwinit 评论(3) 有51574人浏览 2013-01-22 11:23

zookeeper 入门 (来自官方文档)

来源于: http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html#ch_guideToZkOperations 讲对于 zookeeper 编程的简介:   简介: 本文讲了如何应用zk的优势创建分布式应用,包含了如下几个部分.   首先4个章节从一个比较抽象的层面讲了zookeeper的概念, 这使读者能够理解z ...
zookeeper简介官方文档入门 
sharp-fcc 评论(0) 有3098人浏览 2013-01-13 19:50

深入浅出Zookeeper之四Create请求和处理

客户端接口   public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode) throws KeeperException, InterruptedException { final Strin ...
zookeeperjava 
iwinit 评论(0) 有12166人浏览 2013-01-04 21:49

深入浅出Zookeeper之二Session建立

上一篇，小编给大家介绍了zookeeper server端的启动。这一篇将来说一下client和server端是如何建立session的。通过官网的DataMonitor例子来说明。通过Session建立这个例子，可以大概知道client端和server端是如何处理请求的，之间是如何通信的。 官网Datamonitor的代码: Executor   public class Executor ...
zookeeperjavasession 
iwinit 评论(1) 有28784人浏览 2012-12-26 20:30

深入浅出Zookeeper之一Server启动

  大名鼎鼎的Zookeeper是解决分布式问题的神器。小编最近简单阅读了代码，分享一下。有不对之处，还请大家指出。 整篇文章将分多个系列完成，因为涉及点比较多，很难在一片文章内搞定。关于zookeeper的使用场景，大家参考http://rdc.taobao.com/team/jm/archives/1232。api使用参考官网手http://zookeeper.apache.org/doc/ ...
zookeeperserverjava 
iwinit 评论(2) 有17770人浏览 2012-12-26 00:26

ZooKeeper的运行

1）单机模式   用户可以通过下面的命令来启动 ZooKeeper 服务： zkServer.sh start 这个命令默认情况下执行 ZooKeeper 的 conf 文件夹下的 zoo.cfg 配置文件。当运行成功用户会看到类似如下的提示界面： root@ubuntu:~# zkServer.sh start JMX enabled by default Usin ...
ZooKeeper云计算Hadoop集群伪分布式 
sqcjy111 评论(0) 有15437人浏览 2012-12-05 10:28

ZooKeeper的配置

ZooKeeper 的功能特性通过 ZooKeeper 配置文件来进行控制管理（ zoo.cfg 配置文件）。 ZooKeeper 这样的设计其实是有它自身的原因的。通过前面对 ZooKeep ...
ZooKeeper云计算集群伪分布式Hadoop 
sqcjy111 评论(0) 有14224人浏览 2012-12-05 10:24

ZooKeeper的安装

  安装ZooKeeper时看到的一片文章，感觉挺好的，拿来分享一下。     ZooKeeper的安装模式分为三种，分别为：单机模式（stand-alone）、集群模式和集群伪分布模式。ZooKeeper 单机模式的安装相对比较简单，如果第一次接触ZooKeeper的话，建议安装ZooKeeper单机模式或者集群伪分布模式。   1）单机模式   首先，从Apache官方网站下载一 ...
ZooKeeper云计算集群echo伪分布式 
sqcjy111 评论(0) 有18003人浏览 2012-12-05 10:22

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics