本月博客排行
-
第1名
龙儿筝 -
第2名
johnsmith9th -
第3名
wy_19921005 - zysnba
- sgqt
- lemonhandsome
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- benladeng5225
- wy_19921005
- fantaxy025025
- e_e
- zysnba
- ssydxa219
- sam123456gz
- javashop
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- wiseboyloves
- xiangjie88
- ranbuijj
- ganxueyun
- xyuma
- sichunli_030
- wangchen.ily
- jh108020
- lemonhandsome
- zxq_2017
- jbosscn
- Xeden
- luxurioust
- johnsmith9th
- lzyfn123
- zhanjia
- forestqqqq
- nychen2000
- ajinn
- wjianwei666
- hanbaohong
- daizj
- 喧嚣求静
- mwhgJava
- silverend
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
- jveqi
- java-007
- sunj
最新文章列表
对Zookeeper的一些分析 (转载)
zookeeper不是为高可用性设计的
由于要跨机房容灾,很多系统实际上是需要跨机房部署的。出于性价比的考虑我们通常会让多个机房同时工作,而不会搭建N倍的冗余。也就是说单个机房肯定撑不住全流量(你能设想谷歌在全球只剩下一个机房在干活吗)。由于zookeeper集群只能有一个master,因此一旦机房之间连接出现故障,zookeeper master就只能照顾一个机房,其他机房运行的业务模块 ...
zookeeper集群安装
建立安装目录mkdir -p /local/software/zookeeper/cd /local/software/zookeeper/1.2) 下载压缩包 curl -O http://apache.oss.eznetsols.org/hadoop/zookeeper/zookeeper-3.3.1/zookeeper-3.3.1.tar.gz 1.3) 解压缩文件 tar xzf zook ...
zookeeper下的分布式锁
zookeeper是hadoop下面的一个子项目, 用来进行分布式系统之间的相互协调。
在zookeeper源码包的recipe目录下有一个互斥锁lock的实现范例,笔者对其简要包装,以便看起来更为明了:
package org.apache.zookeeper.recipes.lock;
import java.io.IOException;
import org.ap ...
集群环境下配置hadoop,zookeeper,hbase第二部分
3.安装zookeeper,修改配置文件:
两台机器的zookeeper安装路径要相同,切记,切忌!!!
1)cp zoo_sample.cfg zoo.cfg
2)修改zoo.cfg为:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchron ...
集群环境下配置hadoop,zookeeper,hbase第一部分
1.本环境采用两台linux环境,ip分别为:
192.168.56.101
192.168.56.102
分别修改两台机器的/etc/hosts文件,增加如下内容:
192.168.56.101 master
192.168.56.102 slave
我们以master作为namenode服务器,slave为datenode服务器,首先安装jdk并配置环境变量和ssh(安装过程省略,请参考
网上 ...
Hbase的基本概念及交互过程
Hbas是一个在HDFS上实现的面向列的分布式数据库,非常适合实时地随机读/写超大规模数据集
行,列族,列,主键
Hbase中的行类似于数据库中的行,表中的行根据行的键值(也就是表的主键)进行排序,排序根据字节序进行,所有对表的访问都要通过表的主键
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
安装和配置详解
本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。
单机模式
单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/ ...
ZooKeeper程序员指南
译自http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html
1 简介
本文是为想要创建使用ZooKeeper协调服务优势的分布式应用的开发者准备的。本文包含理论信息和实践信息。
本指南的前四节对各种ZooKeeper概念进行较高层次的讨论。这些概念对于理解ZooKeeper是如何工作的,以及如何使用ZooKeepe ...
Zookeeper与paxos算法
一、 zookeeper是什么
官方说辞:Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
好抽象,我们改变一下方式,先看看它都提供了哪些功能,然后再看看使用它的这些功能能做点什么。
二、 ...
zookeeper部署的个数
你运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个zookeeper 1G左右的内存,如果可能的话,最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重,不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes ...
ZooKeeper available but no active master location found
2/03/08 23:25:22 INFO client.HConnectionManager$HConnectionImplementation: ZooKeeper available but no active master location found
12/03/08 23:25:22 INFO client.HConnectionManager$HConnectionImplementa ...