Solr索引数据同步

 

solr查询量增加后，单服务器承受不了搜索压力是，需要多服务来支撑，Solr1.4后自己提供了复制机制ReplicationHandler。

ReplicationHandler是个RequestHandler，在solrconfig.xml配置ReplicationHandler即可使用。

Master配置

 

<requestHandlername="/replication"class="solr.ReplicationHandler">
<lstname="master">
<!--什么时候出发同步，参数名replicateAfter，取值可以是startup commit optimize -->
<strname="replicateAfter">startup</str>
<strname="replicateAfter">commit</str>

<!--数据备份 参数名backupAfter 同样可以似乎startup commit optimize -->
<!-- <str name="backupAfter">optimize</str> -->

<!--配置要同步的配置文件 -->
<strname="confFiles">schema.xml,stopwords.txt,elevate.xml</str>
<!--提交同步时间间隔，默认是10秒，一般不用改动 -->
<strname="commitReserveDuration">00:00:10</str>
</lst>
</requestHandler>

<requestHandler name="/replication" class="solr.ReplicationHandler" >
    <lst name="master">
        <!--什么时候出发同步，参数名replicateAfter，取值可以是startup commit optimize  -->
        <str name="replicateAfter">startup</str>
        <str name="replicateAfter">commit</str>
 
        <!--数据备份 参数名backupAfter 同样可以似乎startup commit optimize -->
        <!-- <str name="backupAfter">optimize</str> -->
 
        <!--配置要同步的配置文件 -->
        <str name="confFiles">schema.xml,stopwords.txt,elevate.xml</str>
        <!--提交同步时间间隔，默认是10秒，一般不用改动 -->
        <str name="commitReserveDuration">00:00:10</str>
    </lst>
</requestHandler>

Slave配置

 

<requestHandlername="/replication"class="solr.ReplicationHandler">
<lstname="slave">

<!--主服务的同步地址-->
<strname="masterUrl">http://master_host:port/corename/replication</str>

<!--同步轮询的时间间隔，是应用还击而定 -->
<strname="pollInterval">00:00:20</str>
<strname="compression">internal</str>
<!--Http相关参数设置-->
<strname="httpConnTimeout">5000</str>
<strname="httpReadTimeout">10000</str>

<!-- 如果主服务设置认证，在此设置登录用户名密码 -->
<strname="httpBasicAuthUser">username</str>
<strname="httpBasicAuthPassword">password</str>
</lst>
</requestHandler>

<requestHandler name="/replication" class="solr.ReplicationHandler" >
    <lst name="slave">
 
        <!--主服务的同步地址-->
        <str name="masterUrl">http://master_host:port/corename/replication</str>  
 
        <!--同步轮询的时间间隔，是应用还击而定 -->
        <str name="pollInterval">00:00:20</str>  
        <str name="compression">internal</str>
        <!--Http相关参数设置-->
        <str name="httpConnTimeout">5000</str>
        <str name="httpReadTimeout">10000</str>
 
        <!-- 如果主服务设置认证，在此设置登录用户名密码 -->
        <str name="httpBasicAuthUser">username</str>
        <str name="httpBasicAuthPassword">password</str>
     </lst>
</requestHandler>

Solr同步是通过Slave周期性轮询来检查Master的版本，如果Master有新版本，那么就开始同步复制。

1. Slave发出一个filelist命令来收集文件列表。这个命令将返回一系列元数据（size，lastmodified，alias等等）

2. Slave查看它本地是否有这些文件，然后它会开始下载缺失的文件(使用命令filecontent)。如果连接失败，则下载终止。它将重试5次，如果仍然失败则放弃。

3. 文件被下载到了一个临时目录。因此，下载中途出错不会影响到slave。

4. 一个commit命令被ReplicationHandler执行，然后新的索引被加载进来

 

solr同步复制就那么简单。