新版SolrCloud概述

在Lucene/Solr的SVN trunk中的SolrCloud已经可用, 在即将发布的4.0版本中将正式包含.

目前SolrCloud已经成熟, 可以支持分布式索引和分布式搜索. 下面是我们一个项目采用新的SolrCloud的部署结构图:

看起来是否非常简单? 下面我们看看内部的一些实现细节.

SolrCloud功能和架构
下面是SolrCloud一些不错的功能:

• 中心化集群配置
• 自动容灾
• 近实时搜索
• 领导选举
• 索引持久化

另外SolrCloud也能被配置成:
分片(shard)索引
每个shard可以有一个或多个副本(replica)

多个shard和replica可以组成一个Collection(从图中可以看出就是一个SolrCloud), 多个Collection可以部署到一个SolrCloud集群. 而一个搜索请求可以同时搜索多个Collection. 其工作流程就像下图中那样.


SolrCloud Shard, Replica, Replication
就像上图那样, 一个新的doc将发送到一个SolrCloud集群中任何一个节点. doc能自动选择发送到哪一个Shard, 如果Shard有多个副本, doc会自动进行同步, 与原来的master/slave结构有所不同, 数据同步是实时的(原来则是定期批量同步).

集群配置
SolrCloud集群的所有的配置存储在ZooKeeper. 一旦一个SolrCloud节点启动, 该节点的配置信息将发送到ZooKeeper上存储.

Shard Replica除了作为容灾备份存在, 另外一个作用就是分散查询请求, 提高整个集群的查询能力.

索引处理
索引文档的更新在Shard和Replica之间是自动和实时的. 因为不存在master server, doc可以发送到任何一个SolrCloud(也就是一个Collection), 然后由SolrCloud完成剩下的事情. 这样就不再存在以前master/slave的单点问题.

搜索方式
有三种不同的搜索方式:
在单个Solr实例上搜索
在单个Collection上搜索(即在一个Collection的多个Shard上搜索)
在指定的Shard上搜索
在多个Collection上搜索, 并将最后merge的结果返回.

运维管理
除了原来的标准core admin, 还增加了其他方式:
在一个Collection上创建一个Shard
新建一个Collection
增加节点.

下一步计划
这里有新的SolrCloud设计方案.

参考原文:http://blog.sematext.com/2012/02/01/solrcloud-distributed-realtime-search/

评论

6 楼 fncj 2014-07-23  

兄弟，图看不到了，无图无真相呀，

5 楼 她的酒窝 2014-07-19  

对solrcloud的分片功能的疑问
有索引：a表索引、b表索引、c表索引，有服务器：三台

1.是指把上述三个表索引分别部署到三台服务器，a表部署到一台服务器、b表部署到第二台服务器、c表部署到第三台服务器？

2.还是指把a表索引分片成几个小的索引块、b表索引分片几个小的索引块、
c表索引分片几个小的索引块，然后分别把这些小的索引块按照一定的规则放到三台服务器了，即每台服务器都有a、b、c索引的一小部分 ？

1还是2了

4 楼 coldrush 2013-01-25  

一直认为solr不能分布是个缺点，然后开始研究elasticsearch了，es可以很容易的分布...现在出来个solrCloud，我又重新回到solr了.....

3 楼 coldrush 2012-09-27  

这两天刚学习万solr ，怎么有弄出个solrcloud来...

2 楼 osacar 2012-02-10  

3.5刚部署起来~~~

1 楼 悲剧了 2012-02-06  

现在还在用1.4,完全跟不上这速度