博客首页 → zookeeper

最新文章列表

开发自己的ZooKeeper客户端工具

简单写了一个自己用的zookeeper工具，实现了对zookeeper基本的创建节点、修改节点、删除节点和查询节点的基本操作，可在其基础上扩展增加需要的功能，现拿出来和大家分享。 package cn.basttg.demo.zk; import java.util.List; import org.apache.zookeeper.CreateMode; import org. ...
zookeeper客户端工具java 
cgs1999 评论(2) 有8433人浏览 2013-03-21 17:04

java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseSplit

hive关联hbase表，使用select count(*) from tablename报如下异常： java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.had ...
hbasehivezookeeper 
lookqlp 评论(0) 有5046人浏览 2012-12-03 11:19

Zookeeper管理工具

由于工作需要在ZooInspector基础上添加了一些功能： 1、对节点导入导出，其中导出是要选择节点的，导入不需要选择节点。 2、权限管理，配置文件为config目录下面的config.xml，提供admin和read两种权限，对应zookeeper的ALL和READ。 可以针对每个连接设立不同的权限用户。   补充： 附件代码里面存在一个权限的Bug。   新的项目地址（修正 ...
zookeeper管理工具 
nettm 评论(0) 有11604人浏览 2012-11-13 16:48

Zookeeper全解析

先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookeeper都是基于它的 ...
zookeeper 
michael8335 评论(0) 有1326人浏览 2012-11-12 18:20

zookeeper的Will not attempt to authenticate using SASL (无法定位登录配置)

今天不小心重启了一下zookeeper服务，发现跑的好好的系统神经了。 客户端连接zk，不停的报   2012-11-12 16:41:37,641 [myid:] - INFO  [main-SendThread(192.168.1.102:2181):ClientCnxn$SendThread@849] - Socket connection established to 192.1 ...
zookeeper无法定位登录配置 
lavafree 评论(3) 有181246人浏览 2012-11-12 17:21

ZooKeeper权限配置

最近使用Zookeeper作为配置管理服务，因为配置数据有很高的安全要求，需要有权限控制，也就是需要登录才能看到Zookeeper上面的数据。 Zookeeper对权限的控制是节点级别的，而且不继承，即对父节点设置权限，其子节点不继承父节点的权限。 Zookeeper提供了几种认证方式 * world：有个单一的ID，anyone，表示任何人。 * auth：不使用任何ID，表示任何通过验证的用 ...
zookeeper配置管理 
nettm 评论(1) 有36578人浏览 2012-11-09 14:52

fourinone分布式协调设计解析

分布式协同是分布式应用中不可缺少的，通常担任协调者的角色，或者说是将多机协同的职责从分布式应用中独立出来，以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用，它使用最少的代码实现了Zookeeper的所有功能，并且力图做到功能更强但是使用更简洁。 一、实现原理 fourino ...
云计算分布式计算分布式协调hadoopzookeeper 
fourinone 评论(4) 有4031人浏览 2012-11-06 16:26

Zookeeper KeeperErrorCode = ConnectionLoss

服务启动时发现报如下错误： org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss error是在调用zk.exists（）时抛出的。   于是开始google，发现问题是原因是：new zookeeper之后，zookeeper的还没有连接好，就去调用，当然 ...
zookeeper 
zyq8557 评论(0) 有20824人浏览 2012-11-05 16:00

ZK Timeout再讨论

http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息： Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003 ... ...
zookeepertimeouthbase 
chenchao051 评论(2) 有29852人浏览 2012-10-18 15:29

ZooKeeper集群配置

配置ZooKeeper集群（Windows环境下） 1、解压三个zookeeper目录 D:\zookeeper\zookeeper-1 D:\zookeeper\zookeeper-2 D:\zookeeper\zookeeper-3 2、在这3个目录下面建立data和log目录，并在data目录下面新建myid文件 myid的文件内容分别为：1、2、3 3、在conf目录下面复制zoo_sa ...
zookeeper 
nettm 评论(0) 有12474人浏览 2012-10-15 16:01

zookeeper中任何节点的写都会影响到整体的读

zookeeper中，任何节点的写都会影响到整体的读。 这个怎么理解呢，任何一个节点的更改，都会block各个follow的queue，只有此次两阶级提交完成之后，follow收到leader的commit后，这台机器上的后继的操作才能进行。 情景假设 leader:A follow: B,C client向及提交一个更改请求，后面两阶段提交（leader发propose, 等待follow ac ...
zookeeper 
brianf 评论(0) 有932人浏览 2012-10-08 17:51

zookeeper超时--minSessionTimeout与maxSessionTimeout

    很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？     其实只这么设置，根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值 public int getM ...
hbasezookeepersessionTimeoutminSessionTimeoutmaxSessionTimeout 
chenchao051 评论(2) 有11102人浏览 2012-10-08 16:55

zookeeper watcher使用注意点

背景  项目中使用了zookeeper进行的类似工作流引擎的工作流转，将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后，通过zk的watcher触发下一个E节点进 ...
zookeeperwatcherjava 
agapple 评论(3) 有31418人浏览 2012-09-26 17:27

HBase RegionServer挂掉后的源码分析

首先肯定是HMaster通过ZK发现某RS挂掉了，HMaster使用private ServerManager serverManager来处理rs的信息： public synchronized void expireServer(final HServerInfo hsi) { // 首先从onlineServers中获取HServerInfo // <host ...
hbaseregionserverzookeeper 
chenchao051 评论(0) 有4116人浏览 2012-08-13 11:20

hadoop hive zookeeper 还不够

hadoop hive zookeeper  还不够 好久不写博客了.讲讲现在做的事情吧. 数据平台.hadoop hive全上 . 现在比较纠结的是  分布式异构系统之间的整合和调度.... 拷贝 ->清理->整理->合并->上传->计算->输出->通知... 各个环节之间怎么协调配合... python  java shell  怎么才能综合利用这些东 ...
hivejavapythonzookeepershell 
shixiaomu 评论(1) 有1359人浏览 2012-07-24 18:03

分布式计算多机部署与配置

在分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中, 对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置： 每台计算机放 ...
hadoop并行计算分布式计算zookeeper云计算 
fourinone 评论(3) 有3415人浏览 2012-07-19 18:21

HMaster的failover 流程(三)

继续HMASTER的failover 流程 上一篇说道master failover的一个漏洞，这几天好好的看了一下，终于找到问题的关键在 哪儿了。首先来看如何重现。 1. master 发送rpc请求去open region，此时zk上的节点时offline状态。 2. rs收到请求还没有开始处理，即zk节点仍然是offline。 3. master重启 4. master开始failover ...
hbaseservermasterfailoverzookeeper 
punishzhou 评论(0) 有1988人浏览 2012-07-02 21:15

分布式计算互相sayhello

假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。 本demo演示了工头和几个工人之间互相sayhello的简单例子，从而了解到集群计算节点之间互相交互，以及工头批量处理和工人互相传递数据（多用于合并）的功能。 HelloCtor：是一个工头实现，它实现giveTask接口，它首先通过getWaitingWorkers获取到一个线上工人的集合，然 ...
hadoop并行计算分布式计算zookeeper云计算 
fourinone 评论(0) 有2625人浏览 2012-06-28 10:55

分布式计算自动部署

对于一个分布式计算的应用,如果不需要自动部署，将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上， 各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置. 假设有一个分布式计算job，包括三个程序文件： JobCtor:包工头实现 JobWorker：农民工实现 J ...
hadoop并行计算分布式计算zookeeper集群部署 
fourinone 评论(0) 有2813人浏览 2012-06-26 17:43

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics