最新文章列表

Storm分布式流计算平台的部署安装

     目前大数据时代已经来临,面临大数据分布式、实时处理的多种技术平台,我们该如何选择?经过调研及逐步甄选,Storm和S4是相对比较突出的两个分布式流计算平台,Storm是由twitter开源,S4是雅虎开源,相对于S4,Storm的成熟度高稳定性好。包括阿里巴巴等大型公司的数据平台也在使用Storm。     搜罗了网上很多Storm的安装教程,大多数网友也是转载,没有一篇教程能够指导 ...
ting570732 评论(1) 有3442人浏览 2013-03-21 11:50

Solr学习(三) 单独ZooKeeper(外部)实例 + SolrCloud(tomcat)实例

开场白: 简单讲述如何配置独立的外部 ZooKeeper 集群管理组件来管理 solr集群(多实例solr) 本章建立在 Solr学习(一)  、Soer学习(二)基础上进行配置。  声明:描述的比较笼统繁琐,有偏差的地方请大家毫不留情的拍砖 完成目标:  单zookeeper(独立)实例 + 多solr-4.2.0(tomcat)实例集群管理。   前期准备:  1、下载Zoo ...
zhengchao860730 评论(4) 有5248人浏览 2013-03-21 11:23

Solr学习(一) Solr4.2.0+Tomcat6.0 (windows7平台环境)部署实践

学习背景:公司搜索平台项目需求,技术选型为Solr开源框架方面技术,后续多实例集群管理,ZooKeeper集群管理等。 本章节目的:单个实例Solr , 在windows环境下,部署于tomcat6 上的案例。 声明:描述的比较笼统繁琐,有偏差的地方请大家毫不留情的拍砖   开始进入正题~~~ 环境及版本说明 操作系统 windows 7旗舰版  64位 处理器 I ...
zhengchao860730 评论(0) 有2730人浏览 2013-03-20 22:52

计算过程中的故障和容灾处理

使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下: 总的来说,Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃,框架通常会捕获所有的错误反馈给开发者去处理,但是框架本身不自作主张,替开发者考虑处理方案,只有这样框架才能从特定场景中抽象出来,给开发者更灵活的发挥和去满足各种更复杂业务容错情况。 那么框 ...
fourinone 评论(0) 有2385人浏览 2013-03-04 13:29

Hbase,Zookeeper性能优化之-参数设置

zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除, ...
zhangyiqian 评论(0) 有6721人浏览 2013-02-19 17:11

ZooKeeper源代码研究(一)

去年在工作中使用了ZooKeeper进行配置管理,今年准备进一步使用ZooKeeper,因此对其的源代码进行一下研究,也学习一下Java网络编程及异步IO。   首先从 http://svn.apache.org/repos/asf/zookeeper/tags/release-3.4.5 下载最新的release版本源代码,由于其使用Ivy进行依赖包进行,就先搞了一下Ivy环境。   i ...
nettm 评论(1) 有10267人浏览 2013-02-19 15:18

阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

   背景    早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分版 ...
agapple 评论(7) 有107058人浏览 2013-02-06 00:36

深入浅出Zookeeper之七分布式CREATE事务处理

前面几篇文章讲了follower和leader之间如何选举和初始化的,这一篇将以之前描述过的CREATE请求作为例子来描述在集群环境下是如何处理事务的。 关于cli ...
iwinit 评论(1) 有13885人浏览 2013-01-28 23:51

curator-client源码阅读笔记

Zookeeper官方client使用起来有很多不便,比如session expire之后需要使用一个新的ZooKeeper对象,提供的接口过于底层等等 Curator是对ZooKeeper的一个封装,其中curator-client是最底层的一个封装,主要是提供自动重连的功能 入口类 CuratorZookeeperClient本身是一个很简单的封装,只保存了retryPolicy和ense ...
kdlan 评论(3) 有5179人浏览 2013-01-26 15:50

深入浅出Zookeeper之六 Leader/Follower初始化

前一篇介绍了Leader选举,这一篇介绍选举成功之后Leader和Follower之间的初始化。 先看Leader端操作   case LEADING: LOG.info("LEADING"); try { //初始化Leader对象 ...
iwinit 评论(1) 有12930人浏览 2013-01-25 00:00

ZooKeeper超级权限

Zookeeper的一个节点不知道什么原因无法删除了,查看日志发现是没有权限,我们之前使用ACL进行Zookeeper节点的权限管理。查阅了相关资料后发现Zookeeper居然有超级管理员,呵呵,这下好办了。   使用以下代码生成密码的密文: import java.io.IOException; import java.security.MessageDigest; import ja ...
nettm 评论(1) 有9581人浏览 2013-01-22 13:42

深入浅出Zookeeper之五 Leader选举

前面几篇文章简单介绍了zookeeper的单机server client处理。接下来几篇文章会介绍分布式部署下zookeeper的实现原理。我们假设有3台server的集群,zoo.cfg配置如下 tickTime=2000 dataDir=/home/admin/zk-data clientPort=2181 #Learner初始化连接到Leader的超时时间 initLimit=1 ...
iwinit 评论(3) 有51578人浏览 2013-01-22 11:23

zookeeper 入门 (来自官方文档)

来源于: http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html#ch_guideToZkOperations 讲对于 zookeeper 编程的简介:   简介: 本文讲了如何应用zk的优势创建分布式应用,包含了如下几个部分.   首先4个章节从一个比较抽象的层面讲了zookeeper的概念, 这使读者能够理解z ...
sharp-fcc 评论(0) 有3123人浏览 2013-01-13 19:50

深入浅出Zookeeper之四Create请求和处理

客户端接口   public String create(final String path, byte data[], List<ACL> acl, CreateMode createMode) throws KeeperException, InterruptedException { final Strin ...
iwinit 评论(0) 有12172人浏览 2013-01-04 21:49

深入浅出Zookeeper之二Session建立

上一篇,小编给大家介绍了zookeeper server端的启动。这一篇将来说一下client和server端是如何建立session的。通过官网的DataMonitor例子来说明。通过Session建立这个例子,可以大概知道client端和server端是如何处理请求的,之间是如何通信的。 官网Datamonitor的代码: Executor   public class Executor ...
iwinit 评论(1) 有28788人浏览 2012-12-26 20:30

深入浅出Zookeeper之一Server启动

  大名鼎鼎的Zookeeper是解决分布式问题的神器。小编最近简单阅读了代码,分享一下。有不对之处,还请大家指出。 整篇文章将分多个系列完成,因为涉及点比较多,很难在一片文章内搞定。关于zookeeper的使用场景,大家参考http://rdc.taobao.com/team/jm/archives/1232。api使用参考官网手http://zookeeper.apache.org/doc/ ...
iwinit 评论(2) 有17776人浏览 2012-12-26 00:26

ZooKeeper的运行

1)单机模式   用户可以通过下面的命令来启动 ZooKeeper 服务: zkServer.sh start 这个命令默认情况下执行 ZooKeeper 的 conf 文件夹下的 zoo.cfg 配置文件。当运行成功用户会看到类似如下的提示界面: root@ubuntu:~# zkServer.sh start JMX enabled by default Usin ...
sqcjy111 评论(0) 有15446人浏览 2012-12-05 10:28

ZooKeeper的配置

ZooKeeper 的功能特性通过 ZooKeeper 配置文件来进行控制管理( zoo.cfg 配置文件)。 ZooKeeper 这样的设计其实是有它自身的原因的。通过前面对 ZooKeep ...
sqcjy111 评论(0) 有14232人浏览 2012-12-05 10:24

ZooKeeper的安装

  安装ZooKeeper时看到的一片文章,感觉挺好的,拿来分享一下。     ZooKeeper的安装模式分为三种,分别为:单机模式(stand-alone)、集群模式和集群伪分布模式。ZooKeeper 单机模式的安装相对比较简单,如果第一次接触ZooKeeper的话,建议安装ZooKeeper单机模式或者集群伪分布模式。   1)单机模式   首先,从Apache官方网站下载一 ...
sqcjy111 评论(0) 有18007人浏览 2012-12-05 10:22

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics