博客首页 → zookeeper

最新文章列表

淘宝Fourinone分布式计算框架性能、压力、容灾测试报告

Fourinone在去年11月在淘宝内部通过了压测，上亿排序和wordcount等经典指标均优于hadoop，这是一份长达10多页的详细测试报告(附件)
云计算并行计算分布式计算hadoopzookeeper 
fourinone 评论(4) 有5151人浏览 2012-02-27 14:18

Hadoop,Hbase,Zookeeper在虚拟机单节点中的整合

    近日整合Hadoop,Hbase,Zookeeper时遇到不少问题，经过一番苦战后终于整合成功，现将整合中遇到的一些问题整理一下。 前置说明： 版本： JDK: 1.6.* Hadoop: 0.20.2 Hbase: 0.90.4 Zookkeeper: 3.4.3 centOS: CentOS release 5.3 节点数： 1 （虚拟机） 安装配置： 一、安装JDK 二、配置 ...
hadoophbasezookeeper虚拟机centos 
haohouhou 评论(2) 有15631人浏览 2012-02-26 16:32

Solr

        SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，是正在开发中的Solr4.0的核心组件之一，它的主要思想是使用Zookeeper作为集群的配置信息中心。          它有几个特色功能：          1）集中式的配置信息          2）自动容错          3）近实时搜索          4）查询时自动负载均衡 ...
SOLRZOOKEEPERSOLRCLOUD 
蔚蓝搁浅 评论(1) 有2442人浏览 2012-02-23 16:53

ZooKeeper 使用场景

<h2 id="ZooKeeper使用场景">ZooKeeper 使用场景</h2>     ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该 ...
zkzookeeper 
sealbird 评论(0) 有1263人浏览 2012-02-15 14:59

接口中有枚举时

读zookeeper的Watcher接口： public interface Watcher {     /**      * This interface defines the possible states an Event may represent      */     public interface Event {         /**          * Enumerat ...
zookeeperjavainterface 
muchunfeng 评论(0) 有2254人浏览 2012-02-12 12:11

一个类中定义多个接口

代码来自zookeeper: package org.apache.zookeeper; public interface AsyncCallback {     interface StatCallback extends AsyncCallback {         public void processResult(int rc, String path, Object ctx, Sta ...
javainterfacezookeeper 
muchunfeng 评论(0) 有1675人浏览 2012-02-12 12:07

Zookeeper开源客户端框架Curator简介

Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于 ...
zookeepercurator 
macrochen 评论(3) 有99605人浏览 2012-01-21 19:52

拜占庭将军问题

拜占庭将军问题 (Byzantine Generals Problem)，是由莱斯利兰伯特提出的点对点通信中的基本问题。 在分布式计算上，不同的计算机透过讯息交换，尝试达成共识；但有时候，系统上协调计算机 (Coordinator / Commander) 或成员计算机 (Member / Lieutanent) 可能因系统错误并交换错的讯息，导致影响最终的系统一致性。拜占庭将军问题就根据错误计 ...
拜占庭分布式zookeeper 
king_c 评论(0) 有1458人浏览 2011-12-16 09:43

zookeeper集群安装

好文章http://www.codedump.info/?p=207 测试环境redhat5.5： vmware建两台虚拟机（btw，似乎双核系统只能建俩，3个就死掉了） 192.168.229.129 192.168.229.130 还有种单机模仿多机的方式 initLimit=5 syncLimit=2 server.1=192.168.211.1:2888:3888 s ...
zookeeper 
haoningabc 评论(2) 有9573人浏览 2011-12-15 11:48

淘宝Fourinone和Hadoop的完整对比

  fourinone-1.11.09 hadoop-0.21.0 体积 82K 71M 依赖关系 就一个jar,没有依赖 约12项jar包依赖 配置 就一个配置文件 较多配置文件和复杂属性 集群搭建 简单，每台机器放一个jar和配置文件 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(2) 有2104人浏览 2011-12-07 11:50

用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据：n个数据文件，每个1g大小，为了方面统计，每个文件的数据由“aaa bbb ... ccc”(由空格分割的1k单词组)不断复制组成。 输出数据：输出这n*1g个数据文件中的每个单词总数 fourinone简单实现思路，假设有n台计算机，将这n个1g数据文件放 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(2) 有1867人浏览 2011-12-07 11:46

<七>基于淘宝Fourinone实现MQ demo

FourInOne也可以当成简单的mq来使用，该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列，每个node为一个队列消息，检查domain的变化来获取队列消息。 Sender：是一个队列发送者，他发送消息的实现是在queue上创建一个匿名节点来存放消息 pl.create(queue, (Serializable)obj); Receiver：是一个队列 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(1) 有2504人浏览 2011-12-07 11:36

<六>基于淘宝Fourinone实现分布式缓存demo

利用fourinone可以轻松实现分布式缓存功能： 1、中小应用的缓存实现：直接启动一个parkserver，分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。 2、如果是大型网站的缓存，单台parkserver的压力不能承受，需要建立多台CacheServer，并且使用CacheFacade进行负载均衡，CacheFacade会根据key自动寻找存 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(0) 有2475人浏览 2011-12-07 11:34

<五>基于淘宝Fourinone实现分布式锁demo

LockDemo是利用fourinone进行分布式锁的实现： 可以启动多个LockDemo实例，每个实例在fourinone上建立一个自己的node, node的domain为lock， node的值为node 然后再轮循判断domain lock的第一个元素是否是自己的node，如果是，就执行，这里模拟线程执行8秒，执行完将自己的node删除，代表释放锁；如果不是，就继续等待。 运行步骤： ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(0) 有2238人浏览 2011-12-07 11:19

zookeeper学习&使用系列文章

近段时间，因项目需要接触了下zookeeper，通过阅读源码以及项目中的使用总结，慢慢的积累了zookeeper的一系列的学习总结。 希望对大家使用zookeeper有所帮助，同时如有描述欠佳的地方尽情拍砖。 zookeeper是什么？  ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服 ...
javazookeeperDistributedDistributedLocksession 
agapple 评论(4) 有20869人浏览 2011-12-05 19:33

hbase 安装

hbase 安装 版本：hbase-0.20.6 1.操作系统   suse 11.4 2.hadoop版本   hadoop-0.20.2 3.环境 jdk1.6， server0 192.168.1.10 server1 192.168.1.11 server2 192.168.1.12 server3 192.168.1.13 server4 192.168.1.1 ...
hbasehadoopzookeepernosql 
黎明lm 评论(0) 有1198人浏览 2011-12-05 15:14

解决zookeeper linux下无法启动的问题

在linux下安装zookeeper时，出现了如下的错误： [hadoop@hadoop-master bin]$ ./zkServer.sh start  JMX disabled by user request  Using config: /opt/zookeeper-3.3.3/bin/../conf/zoo.cfg  Starting zookeeper ...   STARTE ...
javazookeeperhadoop找不到方法 
黎明lm 评论(0) 有4770人浏览 2011-12-05 14:20

hadoop、hbase、zookeeper环境搭建（详细）

一 机器 192.168.0.203 hd203： hadoop namenode & hbase HMaster 192.168.0.204 hd204： hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.205 hd205： hadoop datanode & hbase HRegio ...
hadoophbasezookeeper 
勒布朗 评论(1) 有12966人浏览 2011-10-20 16:00

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics