Cache Pool 架构

先比较一下Hadoop。

Hadoop 架构：


Cache Pool 架构：


Cache Server和Hadoop的Data Node是相似的，Cache Manager和Name Node对应，不过也有很多差异：

• Cache Pool要承受大并发访问，且每条数据都非常小，因此不可能再做一个Name Node来保存元数据，而是使用Consistent Hashing完成数据定位。
• Cache Pool数据量相对较小，一个集群几百GB左右，单台Cache Server只有4-16GB，迁移性能非常高，所以任何一个节点调整都会有1/N数据被迁移，容量约等于单台Server的容量。新增节点时迁移相对比较慢，有大量数据被从多个节点迁移到这个新节点上，迁移完成会并发删除旧服务器上的数据；删除节点则会引起多个节点间的并发数据迁移，迁移效率较高，同时可能会造成每台服务器上有约1/N数据被LRU淘汰。
• Cache Manager只是个管理器，它只完成节点监控、Cache Server划分、数据迁移控制、同步配置等功能，所有数据访问都与它无关。它是由多台服务器组成的高可用性小集群，使用简单决策过程产生Master，其它服务器只作备用。为避免网络、电源等问题的冲击，Cache Manager设置为只对同时一个Cache节点宕机有权利自动化迁移，多台同时宕机时，会发出报警，需要管理员人工控制迁移。

评论

3 楼 qiezi 2009-09-03  

hurd 写道

Cache Server的添加删除，应该是Cache Manager负责。

Consistent Hashing的计算，是不是Cache Manager提供给Client相关Server和分布数据，让后Client自己计算连接？


另外如果是Client自己计算和连接Cache Server, 如何根据hash值知道数据是分布在那两台机器上的？是两个顺时针的连续Cache Server吗？

目前是做了2层，从每一层中找一台server，一层完全丢失对命中率几乎无影响。

2 楼 hurd 2009-08-26  

Cache Server的添加删除，应该是Cache Manager负责。

Consistent Hashing的计算，是不是Cache Manager提供给Client相关Server和分布数据，让后Client自己计算连接？


另外如果是Client自己计算和连接Cache Server, 如何根据hash值知道数据是分布在那两台机器上的？是两个顺时针的连续Cache Server吗？

1 楼 hurd 2009-08-26  

Client和Cache Manager沟通，来确定连接哪个Cache Server吗？