最新文章列表

开发自己的ZooKeeper客户端工具

简单写了一个自己用的zookeeper工具,实现了对zookeeper基本的创建节点、修改节点、删除节点和查询节点的基本操作,可在其基础上扩展增加需要的功能,现拿出来和大家分享。 package cn.basttg.demo.zk; import java.util.List; import org.apache.zookeeper.CreateMode; import org. ...
cgs1999 评论(2) 有8455人浏览 2013-03-21 17:04

java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseSplit

hive关联hbase表,使用select count(*) from tablename报如下异常: java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.had ...
lookqlp 评论(0) 有5050人浏览 2012-12-03 11:19

Zookeeper管理工具

由于工作需要在ZooInspector基础上添加了一些功能: 1、对节点导入导出,其中导出是要选择节点的,导入不需要选择节点。 2、权限管理,配置文件为config目录下面的config.xml,提供admin和read两种权限,对应zookeeper的ALL和READ。 可以针对每个连接设立不同的权限用户。   补充: 附件代码里面存在一个权限的Bug。   新的项目地址(修正 ...
nettm 评论(0) 有11639人浏览 2012-11-13 16:48

Zookeeper全解析

先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它的 ...
michael8335 评论(0) 有1331人浏览 2012-11-12 18:20

zookeeper的Will not attempt to authenticate using SASL (无法定位登录配置)

今天不小心重启了一下zookeeper服务,发现跑的好好的系统神经了。 客户端连接zk,不停的报   2012-11-12 16:41:37,641 [myid:] - INFO  [main-SendThread(192.168.1.102:2181):ClientCnxn$SendThread@849] - Socket connection established to 192.1 ...
lavafree 评论(3) 有181265人浏览 2012-11-12 17:21

ZooKeeper权限配置

最近使用Zookeeper作为配置管理服务,因为配置数据有很高的安全要求,需要有权限控制,也就是需要登录才能看到Zookeeper上面的数据。 Zookeeper对权限的控制是节点级别的,而且不继承,即对父节点设置权限,其子节点不继承父节点的权限。 Zookeeper提供了几种认证方式 * world:有个单一的ID,anyone,表示任何人。 * auth:不使用任何ID,表示任何通过验证的用 ...
nettm 评论(1) 有36620人浏览 2012-11-09 14:52

fourinone分布式协调设计解析

分布式协同是分布式应用中不可缺少的,通常担任协调者的角色,或者说是将多机协同的职责从分布式应用中独立出来,以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用,它使用最少的代码实现了Zookeeper的所有功能,并且力图做到功能更强但是使用更简洁。 一、实现原理 fourino ...
fourinone 评论(4) 有4034人浏览 2012-11-06 16:26

Zookeeper KeeperErrorCode = ConnectionLoss

服务启动时发现报如下错误: org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss error是在调用zk.exists()时抛出的。   于是开始google,发现问题是原因是:new zookeeper之后,zookeeper的还没有连接好,就去调用,当然 ...
zyq8557 评论(0) 有20827人浏览 2012-11-05 16:00

ZK Timeout再讨论

http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题,但是又出现了一个问题,我把min和max都设置成了180000,但是仍然出现了以下的异常信息: Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003 ... ...
chenchao051 评论(2) 有29880人浏览 2012-10-18 15:29

ZooKeeper集群配置

配置ZooKeeper集群(Windows环境下) 1、解压三个zookeeper目录 D:\zookeeper\zookeeper-1 D:\zookeeper\zookeeper-2 D:\zookeeper\zookeeper-3 2、在这3个目录下面建立data和log目录,并在data目录下面新建myid文件 myid的文件内容分别为:1、2、3 3、在conf目录下面复制zoo_sa ...
nettm 评论(0) 有12491人浏览 2012-10-15 16:01

zookeeper中任何节点的写都会影响到整体的读

zookeeper中,任何节点的写都会影响到整体的读。 这个怎么理解呢,任何一个节点的更改,都会block各个follow的queue,只有此次两阶级提交完成之后,follow收到leader的commit后,这台机器上的后继的操作才能进行。 情景假设 leader:A follow: B,C client向及提交一个更改请求,后面两阶段提交(leader发propose, 等待follow ac ...
brianf 评论(0) 有942人浏览 2012-10-08 17:51

zookeeper超时--minSessionTimeout与maxSessionTimeout

    很多同学可能有这样的疑问,我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了,可是为什么仅仅过了40几秒就超时了?     其实只这么设置,根本没有任何作用,因为客户端将sessionTimeout的值传给zk时,zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值 public int getM ...
chenchao051 评论(2) 有11121人浏览 2012-10-08 16:55

zookeeper watcher使用注意点

背景  项目中使用了zookeeper进行的类似工作流引擎的工作流转,将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后,通过zk的watcher触发下一个E节点进 ...
agapple 评论(3) 有31428人浏览 2012-09-26 17:27

HBase RegionServer挂掉后的源码分析

首先肯定是HMaster通过ZK发现某RS挂掉了,HMaster使用private ServerManager serverManager来处理rs的信息: public synchronized void expireServer(final HServerInfo hsi) { // 首先从onlineServers中获取HServerInfo // <host ...
chenchao051 评论(0) 有4118人浏览 2012-08-13 11:20

hadoop hive zookeeper 还不够

hadoop hive zookeeper  还不够 好久不写博客了.讲讲现在做的事情吧. 数据平台.hadoop hive全上 . 现在比较纠结的是  分布式异构系统之间的整合和调度.... 拷贝 ->清理->整理->合并->上传->计算->输出->通知... 各个环节之间怎么协调配合... python  java shell  怎么才能综合利用这些东 ...
shixiaomu 评论(1) 有1365人浏览 2012-07-24 18:03

分布式计算多机部署与配置

在分布式计算上手demo,分布式计算sayhello,分布式计算完整demo中, 对于工人(worker)、工头(ctor),parkserver在多台计算机上的部署和配置: 每台计算机放 ...
fourinone 评论(3) 有3423人浏览 2012-07-19 18:21

HMaster的failover 流程(三)

继续HMASTER的failover 流程 上一篇说道master failover的一个漏洞,这几天好好的看了一下,终于找到问题的关键在 哪儿了。首先来看如何重现。 1. master 发送rpc请求去open region,此时zk上的节点时offline状态。 2. rs收到请求还没有开始处理,即zk节点仍然是offline。 3. master重启 4. master开始failover ...
punishzhou 评论(0) 有1996人浏览 2012-07-02 21:15

分布式计算互相sayhello

假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。 本demo演示了工头和几个工人之间互相sayhello的简单例子,从而了解到集群计算节点之间互相交互,以及工头批量处理和工人互相传递数据(多用于合并)的功能。 HelloCtor:是一个工头实现,它实现giveTask接口,它首先通过getWaitingWorkers获取到一个线上工人的集合,然 ...
fourinone 评论(0) 有2631人浏览 2012-06-28 10:55

分布式计算自动部署

对于一个分布式计算的应用,如果不需要自动部署,将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上, 各工人机器会自动获取并执行,兼容操作系统,不需要进行安全密钥复杂配置. 假设有一个分布式计算job,包括三个程序文件: JobCtor:包工头实现 JobWorker:农民工实现 J ...
fourinone 评论(0) 有2822人浏览 2012-06-26 17:43

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics