- 浏览: 347885 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (354)
- Flash | as3 (53)
- AIR | Starling (46)
- Android (55)
- Java (10)
- C++ (6)
- PHP (43)
- IOS (9)
- Unity3D (2)
- cocos2d-x (1)
- OpenGL (2)
- WebGL (3)
- Server (4)
- MemCache (13)
- MySql (2)
- NoSql (2)
- PhoneGap (13)
- jQuery | jQuery Mobile (14)
- javaScript | html5 | css3 (14)
- Linux (1)
- Box2D (2)
- SmartFox (1)
- Ruby (0)
- Python (2)
- Golang (11)
- Redis (1)
- 开源项目 (6)
- 游戏策划 (1)
- 云平台 (2)
- 项目管理 (6)
- 听见月光 (32)
最新评论
-
kenkao:
http://www.linuxidc.com/Linux/2 ...
解决idea编译时resources文件夹内容不自动复制到输出路径classes的问题 -
kenkao:
http://blog.csdn.net/yanwushu/a ...
解决idea编译时resources文件夹内容不自动复制到输出路径classes的问题 -
wpy126:
你这种比较根本不公平AppCan 用了多个页面,jqm内容都 ...
AppCan VS PhoneGap - 对比两大移动开发平台 -
kenkao:
zs12593 写道这个,这个
这里只是转载,建议看一下原文, ...
android游戏开发框架libgdx环境搭建 -
zs12593:
这个,这个
android游戏开发框架libgdx环境搭建
[原创] Memcache分组和同步机制的实现
作者:heiyeluren
博客:http://blog.csdn.net/heiyeshuwu
时间:2007-06-25
【Memcache同步类的实现思想】
首先我们明确了解就是Memcache是一个简单、快速、高效的分布式基于内存的缓存工具,一般用于网站等数据库数据缓存、高速交换信息的缓存,比如Session数据等等。Memcache最主要的特点就是两个:一是它是基于内存的高效Hash类缓存方式,二是使用了LUR算法来进行数据有效期控制,这两点就能够很好的满足我们的普通网站的应用。(关于Memcache的使用和协议请参考我的另一篇文章:《Memcache的使用和协议分析详解》http://blog.csdn.net/heiyeshuwu/archive/2006/11/13/1380838.aspx)
Memcache本身也存在一些不足,不能说是不足,至少是为了满足它高效的存取,所以没有去实现的功能,包括:一是本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;二是无法同步数据,容易造成单点故障。
那么其实都可以通过我们的Memcache的客户端程序来解决的,首先我们PHP的PECL中的Memcache扩展能够有效的解决Memcache的分布式问题,主要的接口就是 addServer() 函数,具体关于addServer()函数的实现可以参考该扩展源代码。那么现在就存在第二个问题,就是说无法同步数据,可以理解为MySQL中Master/Slave的机制,就是说如果我们有多台的Memcache服务器,使用addServer函数的话,每个服务器存储的数据都是唯一的,那么任何一台服务器宕机的话,那么这台服务器上的存储数据将丢失无法访问,这样肯定是无法充分发挥我们Memcache威力的,那么我们就需要一个方式来解决这个问题,这个就是本文主要要探讨解决的问题:关于在多台Memcache服务器中分组和同步数据的问题。
针对这个问题我构建了一个PHP写的Class,大致的思想就是把多台Memcache服务器分成两组,每组的服务器数量可能是一样的(如果总数是复数的话),数量不一样也没关系,写数据的时候往两组服务器都写,数据是一样的,那么A组服务器的数据和B组服务器的数据是一样的,如果A组服务器中某一台机器宕机了,则能够从B组服务器中提取出数据来,这样能够有效的避免单点故障,特别是在高性能要求的网站当中。当然,相应的操作也是有开销的,主要的开销在于网络连接,就是说连接到A组服务器中发现没有数据,则去访问B组服务器。另外还有就是在访问数据过程中,都是从A组开始的,那么并发量很高的情况下,A组服务器的压力比较大,那么我还实现了对A组和B组服务器随机访问的机制,如果在随机的组中没有发现数据则访问另外一个组,这样A组和B组的压力就是1/2了,能够有效的面对高负载的情况。
同样的,这个类是可以扩展的,比如你可以修改成为能够满足两组以上的服务器,但是这样逻辑会更复杂,我基于简便期间,目前就考虑了两组服务器的情况,毕竟一般公司来说,没有很多机器去做Memcache的缓存,所以两组已经能够满足大部分要求了。
PS:如果有兴趣的话,可以完全自己重新实现Memcache的addServer扩展,比如增加addGroup之类的方法,能够更有效的解决同步和分组的问题。同样的,如果想节省资源的使用,可以把Memcached当作线程的方式来运行。
【Memcache同步类的实现代码】
本类经过我大致的各种测试,运行还算稳定,当然,使用时还是请多加注意。
/**
* Memcache 操作类 (支持同步和分组访问)
*
* author : heiyeluren
* created : 2007-06-21
* lastModifed: 2007-06-21
*/
/**
* Memcache操作类
*/
class MemcacheOpt
{
//---------------------
// 属性定义
//---------------------
/**
* 是否进行多组同步
*/
var $isGroup = true;
/**
* 多组同步情况下是否使用减轻负载的随机存取
*/
var $isRandom = true;
/**
* 默认的Memcache服务器端口
*/
var $mmcPort = 11211;
/**
* 保存原始组信息
*/
var $groups = array();
/**
* 保存第一、二组Memcache服务器信息
*/
var $group1 = array();
var $group2 = array();
/**
* 保存第一、二组连接对象
*/
var $mmc1 = '';
var $mmc2 = '';
//---------------------
// 内部操作方法
//---------------------
/**
* 显示错误信息
*
* @param string $msg 需要显示消息的内容
* @param string $type 消息类型,error是普通错误消息,fatal 是致命错误,将终止程序执行, message 是普通消息,缺省状
态
* @return bool true
*/
function showMessage($msg, $type){
$msg .= " ";
switch($type){
case 'error':
echo("Memcache Error: ". $msg);
break;
case 'fatal':
die("Memcache Fatal: ". $msg);
break;
case 'message':
echo("Memcache Message: ". $msg);
break;
default:
echo("Memcache Error: ". $msg);
}
return true;
}
/**
* 构造函数 (初始化分组和连接到服务器)
*/
function MemcacheOpt($hostArray, $hostArray2=array()){
if (!is_array($hostArray) || empty($hostArray)){
$this->showMessage('Memcache host list invalid', 'fatal');
}
$this->groups = array_merge($hostArray, $hostArray2);
$this->splitGroup($hostArray, $hostArray2);
$this->connect();
}
/**
* 对组进行切分 (按照是否需要分组进行相应的切分)
*
* @param array $hostArray 主机数组列表1
* @param array $hostArray2 主机数组列表2
* @return void
*/
function splitGroup($hostArray, $hostArray2=array()){
//如果只有一台机器则不使用分组
if (count($hostArray) < 2 && empty($hostArray2)){
$this->isGroup = false;
}
//使用分组
if ($this->isGroup){
if (is_array($hostArray2) && !empty($hostArray2)){
$this->group1 = $hostArray;
$this->group2 = $hostArray2;
}else{
$count = ceil(count($hostArray) / 2);
$this->group1 = array_splice($hostArray, 0, $count);
$this->group2 = array_splice($hostArray, 0);
}
}else{
$this->group1 = $hostArray;
}
}
/**
* 连接到Memcache服务器
*/
function connect(){
if (!is_array($this->group1) || empty($this->group1)){
$this->showMessage("Memcache host1 array invalid", 'error');
return false;
}
//连接第一组Memcache服务器
$this->mmc1 = new Memcache;
foreach($this->group1 as $hosts){
$tmp = explode(":", $hosts);
$host = $tmp[0];
$port = (!isset($tmp[1]) || $tmp[1]=='') ? $this->mmcPort : $tmp[1];
$this->mmc1->addServer($host, $port);
}
//如果需要分组则连接第二组Memcache服务器
if ($this->isGroup){
if ( !is_array($this->group2) || empty($this->group2) ){
$this->showMessage("Memcache host2 array invalid", 'error');
return false;
}
$this->mmc2 = new Memcache;
foreach($this->group2 as $hosts){
$tmp = explode(":", $hosts);
$host = $tmp[0];
$port = (!isset($tmp[1]) || $tmp[1]=='') ? $this->mmcPort : $tmp[1];
$this->mmc2->addServer($host, $port);
}
}
}
/**
* 关闭Memcache服务器连接
*/
function close(){
if (is_object($this->mmc1)){
$this->mmc1->close();
}
if (is_object($this->mmc1)){
$this->mmc1->close();
}
return true;
}
/**
* 数据操作核心函数
*
* @param string $optType 操作类型,主要有 add, set, replace, delete, flush
* @param string $key 关键字,如果是 add,set,replace,delete 需要提交key参数
* @param string $val 关键字对应的值,如果是 add, set,replace 需要提交value参数
* @param int $expire 数据有效期,如果是 add,set,replace需要提交expire参数
* @return mixed 不同的需要产生不同的返回
*/
function opt($optType, $key='', $val='', $expire=''){
if (!is_object($this->mmc1)){
$this->showMessage("Not availability memcache connection object", 'fatal');
}
if ($this->isGroup && !is_object($this->mmc2)){
$this->showMessage("Group 2 memcache host connection object not availability", 'error');
}
//加入数据操作
if ($optType=='add' || $optType=='set' || $optType=='replace'){
$this->mmc1->set($key, $val, false, $expire);
if ($this->isGroup && is_object($this->mmc2)){
$this->mmc2->set($key, $val, false, $expire);
}
return true;
}
//获取数据操作
if ($optType == 'get'){
//缺省获取第一组数据
if (!$this->isGroup || !is_object($this->mmc2)){
return $this->mmc1->get($key);
}
//分组情况下逐组访问
$num = ( $this->isRandom ? rand(1, 2) : 1 );
$obj = "mmc". $num;
$val = $this->$obj->get($key);
//如果没有提取到数据,则访问另外一组
if ($val == ""){
switch($num){
case 1: $val = $this->mmc2->get($key); break;
case 2: $val = $this->mmc1->get($key); break;
default: $val = $this->mmc1->get($key);
}
}
return $val;
}
//删除数据操作
if ($optType == 'delete'){
$this->mmc1->delete($key, $expire);
if ($this->isGroup && is_object($this->mmc2)){
$this->mmc2->delete($key);
}
return true;
}
//清空数据操作
if($optType == 'flush'){
$this->mmc1->flush();
if ($this->isGroup && is_object($this->mmc2)){
$this->mmc2->flush();
}
return true;
}
}
//---------------------
// 外部操作方法
//---------------------
//增加一个元素
function add($key, $val, $expire=''){
return $this->opt('add', $key, $val, $expire);
}
//增加一个元素
function set($key, $val, $expire=''){
return $this->opt('set', $key, $val, $expire);
}
//替换一个元素
function replace($key, $val, $expire=''){
return $this->opt('replace', $val, $expire);
}
//获取一个元素
function get($key){
return $this->opt('get', $key);
}
//删除一个元素
function delete($key, $timeout=''){
return $this->opt('delete', $key, '', $timeout);
}
//让所有的元素过期 (本接口不要轻易使用)
function flush(){
return $this->opt('flush');
}
/**
* 获取所有Memcache服务器状态
*/
function getStats(){
$status = array();
//单独连接到每台Memcache
foreach($this->groups as $key=>$hosts){
$tmp = explode(":", $hosts);
$host = $tmp[0];
$port = (!isset($tmp[1]) || $tmp[1]=='') ? $this->mmcPort : $tmp[1];
$conn = new Memcache;
$conn->connect($host, $port);
$s = $conn->getStats();
$s['host'] = $host;
$s['port'] = $port;
$status[$key] = $s;
}
return $status;
}
/**
* 获取所有Memcache服务器版本号
*/
function getVersion(){
$version = array();
$stats = $this->getStats();
foreach($stats as $key=>$s){
$v['host'] = $s['host'];
$v['port'] = $s['port'];
$v['version'] = $s['version'];
$version[$key] = $v;
}
return $version;
}
}
?>
【Memcache同步类的测试】
在本机开启多个Memcache守护进程:
heiyeluren 98466 0.0 0.2 6088 5676 ?? SsJ 7:50下午 0:00.04 /usr/local/memcache/bin/memcached -d -m 32 -l 10.62.240.9 -p 11214
heiyeluren 98437 0.0 0.2 6088 5676 ?? SsJ 7:50下午 0:00.04 /usr/local/memcache/bin/memcached -d -m 32 -l 10.62.240.9 -p 11213
heiyeluren 98425 0.0 0.2 6088 5676 ?? SsJ 7:50下午 0:00.05 /usr/local/memcache/bin/memcached -d -m 32 -l 10.62.240.9 -p 11212
heiyeluren 98228 0.0 0.2 6088 5676 ?? SsJ 7:48下午 0:00.05 /usr/local/memcache/bin/memcached -d -m 32 -l 10.62.240.9 -p 11211
MemcacheOpt类测试代码:
require_once("MemcacheOpt.class.php");
//操作代码
$hostArray = array("10.62.240.9", "10.62.240.9:11212", "10.62.240.9:11213", "10.62.240.9:11214");
$m = new MemcacheOpt($hostArray);
$m->add("key1", "key1_value", 30);
$m->add("key2", "key2_value", 30);
$m->set("key3", "key3_value", 30);
$m->set("key4", "key4)value", 30);
echo $m->get("key1"). " ";
echo $m->get("key2"). " ";
echo $m->get("key3"). " ";
echo $m->get("key4"). " ";
print_r($m->getStats());
print_r($m->getVersion());
?>
测试代码输出结果:
key2_value
key3_value
key4)value
Array
(
[0] => Array
(
[pid] => 98228
[uptime] => 7440
[time] => 1182433964
[version] => 1.1.12
[rusage_user] => 0.024758
[rusage_system] => 0.034309
[curr_items] => 5
[total_items] => 158
[bytes] => 265
[curr_connections] => 3
[total_connections] => 134
[connection_structures] => 4
[cmd_get] => 87
[cmd_set] => 159
[get_hits] => 81
[get_misses] => 6
[bytes_read] => 6423
[bytes_written] => 27628
[limit_maxbytes] => 33554432
[host] => 10.62.240.9
[port] => 11211
)
[1] => Array
(
[pid] => 98425
[uptime] => 7359
[time] => 1182433964
[version] => 1.1.12
[rusage_user] => 0.012727
[rusage_system] => 0.038181
[curr_items] => 4
[total_items] => 119
[bytes] => 208
[curr_connections] => 3
[total_connections] => 121
[connection_structures] => 4
[cmd_get] => 45
[cmd_set] => 122
[get_hits] => 45
[get_misses] => 0
[bytes_read] => 4492
[bytes_written] => 22146
[limit_maxbytes] => 33554432
[host] => 10.62.240.9
[port] => 11212
)
[2] => Array
(
[pid] => 98437
[uptime] => 7356
[time] => 1182433964
[version] => 1.1.12
[rusage_user] => 0.029343
[rusage_system] => 0.022345
[curr_items] => 4
[total_items] => 84
[bytes] => 213
[curr_connections] => 3
[total_connections] => 111
[connection_structures] => 4
[cmd_get] => 88
[cmd_set] => 85
[get_hits] => 43
[get_misses] => 45
[bytes_read] => 4014
[bytes_written] => 23911
[limit_maxbytes] => 33554432
[host] => 10.62.240.9
[port] => 11213
)
[3] => Array
(
[pid] => 98466
[uptime] => 7330
[time] => 1182433964
[version] => 1.1.12
[rusage_user] => 0.009188
[rusage_system] => 0.035360
[curr_items] => 1
[total_items] => 53
[bytes] => 52
[curr_connections] => 3
[total_connections] => 98
[connection_structures] => 4
[cmd_get] => 37
[cmd_set] => 56
[get_hits] => 28
[get_misses] => 9
[bytes_read] => 2437
[bytes_written] => 21024
[limit_maxbytes] => 33554432
[host] => 10.62.240.9
[port] => 11214
)
)
Array
(
[0] => Array
(
[host] => 10.62.240.9
[port] => 11211
[version] => 1.1.12
)
[1] => Array
(
[host] => 10.62.240.9
[port] => 11212
[version] => 1.1.12
)
[2] => Array
(
[host] => 10.62.240.9
[port] => 11213
[version] => 1.1.12
)
[3] => Array
(
[host] => 10.62.240.9
[port] => 11214
[version] => 1.1.12
)
)
【结束语】
最后提出两个使用Memcache的小技巧,第一个是如果是一个有效分布式存储的数据,key的取名是很有学问的,这个可以按照项目需要去做,但是key值不要太长,不会冲突就行。第二个就是每个保存在memcache中的数据不要超过1MB。第三个就是开启一个Memcache进程设置内存不要太多也不要太少,按照自己合适设置就行,尽量最大程度提高对硬件的使用,同样可以采取在一台服务器上开启多个memcached来分担一个memcached并发链接的压力。更多技巧在实际使用长慢慢去总结发现,会发现其实memcahe虽然简单,但是很好用。
本文总的就是发现一些简单的东西,可以通过自主扩展的方式来发现更多有趣实用的功能,我想,这就是开源产品的魅力所在吧。欢迎提出批评或者是更好的实现方式。
发表评论
-
memcached并发CAS模式
2014-12-18 16:54 787http://hudeyong926.iteye.com/b ... -
基于libmemcached为php扩展memcached服务
2014-04-29 09:42 546基于libmemcached,php扩展memcache ... -
Memcached 集群架构方面的问题
2013-05-08 11:36 640Memcached 集群架构方面 ... -
数据库减压--php+mysql+memcached模拟nosql
2012-11-24 09:48 960http://blog.sina.com.cn/s/blog_ ... -
MemCache详细介绍
2012-08-01 17:34 846memcache是一个高性能的分布式的内存对象缓存系统,通过在 ... -
SNS类游戏cache server设计浅析
2012-07-21 16:22 1330http://blog.csdn.net/herm_lib/a ... -
Discuz论坛分表以及memcache缓存优化
2012-07-06 18:21 1236http://hi.baidu.com/nopsky/blog ... -
Memcache的使用和协议分析详解
2012-07-06 10:40 766Memcache的使用和协议分析详解 作者:heiyelur ... -
Memcached各种语言客户端一览
2012-05-28 17:03 2030C / C++ libmemcached htt ... -
memcached构建高性能web应用
2012-05-28 16:25 821本篇文章来源于:开发 ... -
Memcached windows 下安装与应用
2012-04-24 10:05 1312Memcached windows 下安装与php应用 ... -
让memcached和mysql更好的工作
2012-04-24 10:02 1231让memcached和mysql更好的工作 来源 ...
相关推荐
虽然memcache提供了一种简单的方法来处理session同步,但在大型系统中,你可能还需要考虑其他解决方案,比如使用更强大的分布式存储系统(如Redis)或采用基于token的身份验证机制,以应对更大的负载和复杂的需求。
【Memcache原理及实现】 Memcache,全称Memcached,是一种高性能的分布式内存对象缓存系统,主要用于减轻数据库的负载。它将数据存储在内存中,以键值对的形式提供快速访问,尤其适用于高并发场景。Memcache最初由...
"PHP实现多服务器session共享之memcache共享"的主题着重于如何在多台服务器之间有效地存储和同步用户的session数据,以确保用户在不同服务器间的会话状态能够保持一致。本文将深入探讨这一主题,并围绕相关知识点...
Java开发中的Memcached原理及实现主要涉及分布式缓存系统、内存管理和网络通信等多个技术领域。Memcached是一款高性能、分布式内存对象缓存系统,用于减轻数据库负载,提高网站或应用程序的响应速度。在Java环境中,...
总的来说,Memcache在Windows上的实现和.NET驱动的使用是优化Web应用程序性能的重要手段。通过合理利用Memcache的缓存能力,开发者可以构建更加高效、响应迅速的应用,并减轻数据库的工作负担。对于.NET开发者来说,...
- 底层协议简单:使用基于文本的简单协议,易于实现客户端和服务器之间的通信。 3. **Memcache与PHP的结合** PHP是Web开发中常用的语言,通过PHP的Memcache扩展,可以方便地在PHP应用中使用Memcache。`...
以下是一些关于如何在Java中实现Memcache客户端的重要知识点: 1. **Java Memcache客户端库**:在Java中,常用的Memcache客户端库有Xmemcached和spymemcached。这些库提供了丰富的API,使Java开发者能够方便地将...
本文主要介绍使用Memcache实现Web集群中session同步的方法。 首先,Memcache是一个高性能的分布式内存对象缓存系统,常用于减少数据库负载,提高访问速度,它非常适合用来存储session数据。在Web集群中使用Memcache...
综上所述,"memcache 缓存机制"插件可能是为了简化Memcached的使用,帮助开发者快速集成和管理缓存。在实际应用中,正确理解和利用Memcached的缓存机制,能够有效地提升系统的性能和响应速度。在使用过程中,需要...
了解Memcache的源码有助于我们更深入地理解其内部机制,例如如何实现内存管理、如何处理并发请求等。源码分析可以帮助开发者优化性能,定制特殊需求,或开发新的扩展功能。 ### 七、工具支持 有许多工具可用于监控...
- **分布式缓存**:在多台服务器上分布数据存储,提供高可用性和扩展性,Memcache就是一种典型的分布式缓存系统。 2. **安装与配置** - **安装**:Memcache通常可以通过包管理器(如在Ubuntu上的`apt-get`或...
通过这些库,开发者可以配置Tomcat以将用户的session数据存储在分布式Memcache缓存中,从而实现在多个服务器间的session同步。在部署时,需将这些jar包添加到Tomcat的lib目录,然后配置相关的session管理器以启用...
2. 分布式:在大型网站中,可以部署多个Memcached实例,实现数据的分布式存储和负载均衡。 3. 减轻数据库压力:计数操作通常涉及频繁的数据库更新,使用Memcached可以避免频繁的数据库交互,提高系统整体性能。 三...
### Memcache安装与基本操作详解 #### 一、前言 Memcache是一种高性能的分布式内存对象缓存系统,用于加速动态Web应用,减轻数据库负担。本文将详细介绍如何安装配置...希望本文能帮助您更好地理解和使用Memcache。
- **简单高效**:MemCache设计简洁,专注于提供高速缓存服务,内存管理采用slab分配机制,避免了内存碎片。 - **无持久化**:默认情况下,MemCache不支持数据持久化,这意味着一旦服务崩溃,所有缓存的数据将丢失...
2. **分布式存储**:Memcache支持多服务器集群,可以通过一致性哈希算法将数据分散到不同的服务器上,实现负载均衡和故障转移。 3. **键值对存储**:数据以键值对的形式存储,键是唯一的,值可以是任何类型的数据,...
- **事务支持**:Spring的事务管理机制可以确保与Memcache交互的一致性和完整性。 #### 四、XMemcache与原生Memcache客户端的区别 - **XMemcache**:这是一个高度可扩展且功能丰富的Java客户端库,提供了更多的...
这意味着在多节点环境中,Ehcache能够实现数据的同步和共享。 2. 持久化:Ehcache支持将缓存数据持久化到本地硬盘,通过`.data`和`.index`文件存储。当缓存初始化时,它会自动加载这些文件中的数据,确保数据在系统...