最新文章列表

对Zookeeper的一些分析 (转载)

zookeeper不是为高可用性设计的 由于要跨机房容灾,很多系统实际上是需要跨机房部署的。出于性价比的考虑我们通常会让多个机房同时工作,而不会搭建N倍的冗余。也就是说单个机房肯定撑不住全流量(你能设想谷歌在全球只剩下一个机房在干活吗)。由于zookeeper集群只能有一个master,因此一旦机房之间连接出现故障,zookeeper master就只能照顾一个机房,其他机房运行的业务模块 ...
bestree007 评论(0) 有1731人浏览 2012-06-24 22:33

zookeeper集群安装

建立安装目录mkdir -p /local/software/zookeeper/cd /local/software/zookeeper/1.2) 下载压缩包 curl -O  http://apache.oss.eznetsols.org/hadoop/zookeeper/zookeeper-3.3.1/zookeeper-3.3.1.tar.gz 1.3) 解压缩文件 tar xzf zook ...
badboyjaker 评论(0) 有1103人浏览 2012-05-22 09:51

Zookeeper应用简单例子

Zookeeper能帮我们作什么事情呢?简单的例子:假设我们我们有个20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个 ...
badboyjaker 评论(0) 有1665人浏览 2012-05-22 09:51

zookeeper下的分布式锁

  zookeeper是hadoop下面的一个子项目, 用来进行分布式系统之间的相互协调。 在zookeeper源码包的recipe目录下有一个互斥锁lock的实现范例,笔者对其简要包装,以便看起来更为明了:   package org.apache.zookeeper.recipes.lock; import java.io.IOException; import org.ap ...
chenkangxian 评论(0) 有9055人浏览 2012-05-12 21:58

集群环境下配置hadoop,zookeeper,hbase第二部分

3.安装zookeeper,修改配置文件: 两台机器的zookeeper安装路径要相同,切记,切忌!!! 1)cp zoo_sample.cfg zoo.cfg 2)修改zoo.cfg为: # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchron ...
tiandizhiguai 评论(0) 有1312人浏览 2012-05-11 11:28

集群环境下配置hadoop,zookeeper,hbase第一部分

1.本环境采用两台linux环境,ip分别为: 192.168.56.101 192.168.56.102 分别修改两台机器的/etc/hosts文件,增加如下内容: 192.168.56.101 master 192.168.56.102 slave 我们以master作为namenode服务器,slave为datenode服务器,首先安装jdk并配置环境变量和ssh(安装过程省略,请参考 网上 ...
tiandizhiguai 评论(0) 有1382人浏览 2012-05-11 11:28

Hbase的基本概念及交互过程

 Hbas是一个在HDFS上实现的面向列的分布式数据库,非常适合实时地随机读/写超大规模数据集   行,列族,列,主键       Hbase中的行类似于数据库中的行,表中的行根据行的键值(也就是表的主键)进行排序,排序根据字节序进行,所有对表的访问都要通过表的主键  
liudeh_009 评论(0) 有2256人浏览 2012-05-06 11:02

Fourinone架构原理ppt

Fourinone提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析,事务等 ...
fourinone 评论(5) 有8175人浏览 2012-04-27 10:11

Zookeeper简单使用的处理模型

Zookeeper的使用很多文章都提到。但是都是对API的描述。很少提到应该如何处理连接短线,session过期等等。我画了一张图,来描述ZK的处理流程。
tailorcai 评论(0) 有1029人浏览 2012-04-24 10:44

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/ ...
netcome 评论(1) 有5232人浏览 2012-04-05 11:05

ZooKeeper程序员指南

  译自http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html 1 简介 本文是为想要创建使用ZooKeeper协调服务优势的分布式应用的开发者准备的。本文包含理论信息和实践信息。 本指南的前四节对各种ZooKeeper概念进行较高层次的讨论。这些概念对于理解ZooKeeper是如何工作的,以及如何使用ZooKeepe ...
netcome 评论(0) 有4197人浏览 2012-04-05 10:56

Zookeeper与paxos算法

一、            zookeeper是什么 官方说辞:Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 好抽象,我们改变一下方式,先看看它都提供了哪些功能,然后再看看使用它的这些功能能做点什么。   二、           ...
ronghao 评论(1) 有16826人浏览 2012-03-22 20:36

zookeeper部署的个数

你运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个zookeeper 1G左右的内存,如果可能的话,最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重,不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes ...
niuzhenxin 评论(0) 有9206人浏览 2012-03-14 18:54

ZooKeeper available but no active master location found

2/03/08 23:25:22 INFO client.HConnectionManager$HConnectionImplementation: ZooKeeper available but no active master location found 12/03/08 23:25:22 INFO client.HConnectionManager$HConnectionImplementa ...
niuzhenxin 评论(0) 有5309人浏览 2012-03-12 10:28

hadoop hbase的相关命令

//是否进入或者是否还在安全模式 hadoop dfsadmin -safemode get //输出 Safe mode is ON //namenode节点的启动和关闭 hadoop-daemon.sh stop namenode hadoop-daemon.sh start namenode //停止某个数据节点上的 HRegionserver,在那个机器上执行 ...
keren 评论(0) 有1400人浏览 2012-03-03 14:07

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics