遍历memcached缓存对象（C#）

lovnet

浏览: 6906803 次
性别:
来自: 武汉

最近访客更多访客>>

u012363178

jx_colin

MauerSu

wangyy

博主相关

博客

微博

相册

留言

关于我

文章分类

全部博客 (7414)

社区版块

存档分类

2013-03 ( 20)
2013-02 ( 53)
2013-01 ( 90)
更多存档...

C C++C#memcached Cache

STATS命令

出于性能考虑，memcached没有提供遍历功能，不过我们可以通过以下两个stats命令得到所有的缓存对象。

1、stats items

显示各个slab中item的数目。

2、stats cachedump slab_idlimit_num
显示某个slab中的前limit_num个key列表，显示格式：ITEM key_name [ value_length b; expire_time|access_time s]

除了上面两个，memcached还提供了以下命令：

3、stats
4、 stats reset
5、 stats malloc
6、 stats maps
7、 stats sizes
8、 stats slabs
9、 stats detail [on|off|dump]

命令的用法就不一一说了，请自行google。关于memcached的数据存储和内存分配以后有机会再写。

添加缓存

在本地添加几个key，如下：

程序实现

因为要用c#调用，所以需要客户端执行 STATS 命令，这个可以直接参考DiscuzNT3.0中的实现。

DiscuzNT下载地址：http://download.comsenz.com/DiscuzNT/src/

下载完程序以后，在Discuz.Cache项目中找到这两个类：MemCached.cs和MemCachedClient.cs。

我们要用到的方法有：

MemCached.GetStats

代码

/// <summary>
/// 获取服务器端缓存的数据信息
/// </summary>
/// <paramname="serverArrayList"> 要访问的服务列表 </param>
/// <returns> 返回信息 </returns>
public static ArrayListGetStats(ArrayListserverArrayList,StatsstatsCommand, string param)
{
ArrayListstatsArray = new ArrayList();
param = Utils.StrIsNullOrEmpty(param) ? "" :param.Trim().ToLower();

string commandstr = " stats " ;
// 转换stats命令参数
switch (statsCommand)
{
case Stats.Reset:{commandstr = " statsreset " ; break ;}
case Stats.Malloc:{commandstr = " statsmalloc " ; break ;}
case Stats.Maps:{commandstr = " statsmaps " ; break ;}
case Stats.Sizes:{commandstr = " statssizes " ; break ;}
case Stats.Slabs:{commandstr = " statsslabs " ; break ;}
case Stats.Items:{commandstr = " stats " ; break ;}
case Stats.CachedDump:
{
string []statsparams = Utils.SplitString(param, " " );
if (statsparams.Length == 2 )
if (Utils.IsNumericArray(statsparams))
commandstr = " statscachedump " + param;

break ;
}
case Stats.Detail:
{
if ( string .Equals(param, " on " ) || string .Equals(param, " off " ) || string .Equals(param, " dump " ))
commandstr = " statsdetail " + param.Trim();

break ;
}
default :{commandstr = " stats " ; break ;}
}
// 加载返回值
Hashtablestats = MemCachedManager.CacheClient.Stats(serverArrayList,commandstr);
foreach ( string key in stats.Keys)
{
statsArray.Add(key);
Hashtablevalues = (Hashtable)stats[key];
foreach ( string key2 in values.Keys)
{
statsArray.Add(key2 + " : " + values[key2]);
}
}
return statsArray;
}

MemCachedClient.Stats

代码

public HashtableStats(ArrayListservers, string command)
{

// getSockIOPoolinstance
SockIOPoolpool = SockIOPool.GetInstance(_poolName);

// returnfalseifunabletogetSockIOobj
if (pool == null )
{
// if(log.IsErrorEnabled)
// {
// log.Error(GetLocalizedString("unabletogetsocketpool"));
// }
return null ;
}

// getallserversanditerateoverthem
if (servers == null )
servers = pool.Servers;

// ifnoservers,thenreturnearly
if (servers == null || servers.Count <= 0 )
{
// if(log.IsErrorEnabled)
// {
// log.Error(GetLocalizedString("statsnoservers"));
// }
return null ;
}

// arrayofstatsHashtables
HashtablestatsMaps = new Hashtable();

for ( int i = 0 ;i < servers.Count;i ++ )
{

SockIOsock = pool.GetConnection(( string )servers[i]);
if (sock == null )
{
// if(log.IsErrorEnabled)
// {
// log.Error(GetLocalizedString("unabletoconnect").Replace("$$Server$$",servers[i].ToString()));
// }
continue ;
}

// buildcommand
command = Discuz.Common.Utils.StrIsNullOrEmpty(command) ? " stats\r\n " :command + " \r\n " ;

try
{
sock.Write(UTF8Encoding.UTF8.GetBytes(command));
sock.Flush();

// maptoholdkeyvaluepairs
Hashtablestats = new Hashtable();

// loopoverresults
while ( true )
{
string line = sock.ReadLine();
// if(log.IsDebugEnabled)
// {
// log.Debug(GetLocalizedString("statsline").Replace("$$Line$$",line));
// }

if (line.StartsWith(STATS))
{
string []info = line.Split( ' ' );
string key = info[ 1 ];
string val = info[ 2 ];

// if(log.IsDebugEnabled)
// {
// log.Debug(GetLocalizedString("statssuccess").Replace("$$Key$$",key).Replace("$$Value$$",val));
// }

stats[key] = val;

}
else if (END == line)
{
// finishwhenwegetendfromserver
// if(log.IsDebugEnabled)
// {
// log.Debug(GetLocalizedString("statsfinished"));
// }
break ;
}

statsMaps[servers[i]] = stats;
}
}
catch // (IOExceptione)
{
// if(log.IsErrorEnabled)
// {
// log.Error(GetLocalizedString("statsIOException"),e);
// }

try
{
sock.TrueClose();
}
catch // (IOException)
{
// if(log.IsErrorEnabled)
// {
// log.Error(GetLocalizedString("failedtoclosesomesocket").Replace("$$Socket$$",sock.ToString()));
// }
}

sock = null ;
}

if (sock != null )
sock.Close();
}

return statsMaps;
}

有了这两个方法我们就可以得到memcached中的缓存项了。

基本思路是，先得到cache中所有的item（stats items），再通过itemid 取出cachekey和cachevalue（stats cachedump）

程序实现如下：

private void GetItems()
{
ArrayListitemarr = new ArrayList();

ArrayListarrayList = new ArrayList();
StringBuildersb = new StringBuilder();

foreach ( string server in MemCachedManager.ServerList)
{
arrayList.Add(server);
}
ArrayListarr = MemCachedManager.GetStats(arrayList,MemCachedManager.Stats.Items, null );
foreach ( string a in arr)
{
string []tmparr = a.Split( ' : ' );
if (tmparr.Length > 1 )
{
int item_id = 0 ;
int .TryParse(tmparr[ 1 ], out item_id);

bool find = false ;
foreach ( int item in itemarr)
{
if (item == item_id)
find = true ;
}
if ( ! find && item_id > 0 && item_id != 11211 )
itemarr.Add(item_id);
}
}
foreach ( int item in itemarr)
{
sb.Append( " item " + item + " <br/> " );
ArrayListcachearr = MemCachedManager.GetStats(arrayList,MemCachedManager.Stats.CachedDump, "" + item + " 10 " );
foreach ( string cache in cachearr)
{
sb.Append(cache);
sb.Append( " <br/> " );
}
}
Response.Write(sb.ToString());
}

运行程序：

为什么没有输出缓存项呢？

DiscuzNT3.0中的bug

于是我找啊找，发现是DiscuzNT3.0中的一个bug导致。

在MemCachedClient.Stats中，有这样的一段代码：

原来是忽略了stats cachedump 的结果是以ITEM开头的，所以什么都没有输出。简单修改一下：

if (line.StartsWith(STATS))
{
string []info = line.Split( ' ' );
string key = info[ 1 ];
string val = info[ 2 ];
stats[key] = val;

}
else if (line.StartsWith( " ITEM " ))
{
string []info = line.Split( ' [ ' );
string key = info[ 0 ].Split( ' ' )[ 1 ];
string val = " [ " + info[ 1 ];

stats[key] = val;
}
else if (END == line)
{
break ;
}

再看一下输出结果，显示正常。