`
lavafree
  • 浏览: 539697 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Solr索引数据同步ReplicationHandler

 
阅读更多

solr查询量增加后,单服务器承受不了搜索压力是,需要多服务来支撑,Solr1.4后自己提供了复制机制ReplicationHandler。

ReplicationHandler是个RequestHandler,在solrconfig.xml配置ReplicationHandler即可使用。

Master配置

<requestHandler name="/replication" class="solr.ReplicationHandler" >
    <lst name="master">
        <!--什么时候出发同步,参数名replicateAfter,取值可以是startup commit optimize  -->
        <str name="replicateAfter">startup</str>
        <str name="replicateAfter">commit</str>
 
        <!--数据备份 参数名backupAfter 同样可以似乎startup commit optimize -->
        <!-- <str name="backupAfter">optimize</str> -->
 
        <!--配置要同步的配置文件 -->
        <str name="confFiles">schema.xml,stopwords.txt,elevate.xml</str>
        <!--提交同步时间间隔,默认是10秒,一般不用改动 -->
        <str name="commitReserveDuration">00:00:10</str>
    </lst>
</requestHandler>

 Slave配置

<requestHandler name="/replication" class="solr.ReplicationHandler" >
    <lst name="slave">
 
        <!--主服务的同步地址-->
        <str name="masterUrl">http://master_host:port/corename/replication</str>  
 
        <!--同步轮询的时间间隔,是应用还击而定 -->
        <str name="pollInterval">00:00:20</str>  
        <str name="compression">internal</str>
        <!--Http相关参数设置-->
        <str name="httpConnTimeout">5000</str>
        <str name="httpReadTimeout">10000</str>
 
        <!-- 如果主服务设置认证,在此设置登录用户名密码 -->
        <str name="httpBasicAuthUser">username</str>
        <str name="httpBasicAuthPassword">password</str>
     </lst>
</requestHandler>
 Solr同步是通过Slave周期性轮询来检查Master的版本,如果Master有新版本,那么就开始同步复制。

1. Slave发出一个filelist命令来收集文件列表。这个命令将返回一系列元数据(size,lastmodified,alias等等)

2. Slave查看它本地是否有这些文件,然后它会开始下载缺失的文件(使用命令filecontent)。如果连接失败,则下载终止。它将重试5次,如果仍然失败则放弃。

3. 文件被下载到了一个临时目录。因此,下载中途出错不会影响到slave。

4. 一个commit命令被ReplicationHandler执行,然后新的索引被加载进来

 

solr同步复制就那么简单。

分享到:
评论

相关推荐

    快速上手数据挖掘之solr搜索引擎高级教程(Solr集群、KI分词)第14讲 solr索引主从同步 共6页.pptx

    Solr集群安装与配置(一)第11讲 Solr集群安装与配置(二)第12讲 SolrCloud基本概念第13讲 Solrj操作SolrCloud第14讲 solr索引主从同步第15讲 solr之Facet第16讲 solr之FacetPivot第17讲 solr之Group第18讲 solr之...

    solr同步数据库需要jar包

    在Solr中,为了实现与数据库的实时同步,通常会采用增量索引策略,确保数据库中的新数据或更新能够及时反映到Solr索引中,提高系统的响应速度和效率。 标题中的"solr同步数据库需要jar包"指的就是在进行Solr和...

    Solr数据库插入(全量和增量)索引

    通过以上测试结果,我们可以看到,Solr 数据库插入全量和增量索引可以正确地将数据插入 Solr 索引库中,并且可以实时地更新索引。在实际应用中,我们可以根据实际情况选择全量索引或增量索引,以满足不同的业务需求...

    solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包

    总的来说,这个压缩包提供了一套完整的解决方案,帮助用户实现在Solr 7.7.2中定时从MySQL数据库自动同步数据,并且支持基本的身份验证,确保了数据的安全传输和处理。通过正确配置和使用这个工具,你可以构建一个...

    Hbase同步数据到Solr的方案

    将HBase的数据同步到Solr,可以实现快速的搜索功能,这对于数据分析和实时查询场景尤其重要。 为了实现HBase到Solr的数据同步,我们可以使用HBase Indexer,这是一个由NGDATA开发的开源项目,它简化了这个过程,...

    solr定时同步jar包.zip

    "solr定时同步jar包.zip"提供的正是这样一个解决方案,它封装了Solr的数据导入调度功能,使得数据同步可以自动化、定时执行,极大地提高了数据管理和检索的效率。 首先,让我们深入了解一下Solr的数据导入功能。...

    Solr索引测试报告

    Solr 索引 测试报告 性能

    solr创建索引的原理及解析

    ### Solr创建索引的原理及解析 #### 一、Solr概述与索引机制 Apache Solr是一款基于Lucene的高性能全文检索服务器,广泛应用于网站的搜索功能中。Solr支持分布式部署,并且提供了丰富的API接口,方便与其他系统...

    基于Solr4.9.0的搜索系统:包括Solr索引建立、Solr索引查询DUBBO接口等内容。.zip

    同时,MySQL与Solr的结合,可以通过Elastic Data Bridge等工具,实现数据的实时同步,确保索引的实时性。 压缩包中的`content_code`文件包含了整个系统的源代码,开发者可以参考这些代码,理解系统的设计思路和实现...

    Dubbo+Solr+RabbitMQ实现Solr数据同步 DataSyncParent.zip

    在IT行业中,构建高效、实时的...总之,通过集成Dubbo、Solr和RabbitMQ,可以构建一个高效、可扩展的数据同步解决方案,适用于需要实时索引更新的大型分布式系统。这个项目为理解和实践这类系统提供了一个实用的起点。

    solr增量导入更新索引包

    增量导入更新索引包是Solr中的一项重要功能,它允许系统仅处理自上次完整索引以来发生改变的数据,从而大大提升了效率并降低了资源消耗。下面将详细阐述Solr增量更新的相关知识点。 1. **Solr的索引机制** Solr...

    solr创建索引并查询

    ### Solr创建索引并查询的关键知识点 #### 一、Solr简介 Apache Solr是一款开源的全文搜索引擎平台,基于Lucene实现。它提供了一套完整的搜索解决方案,并且支持多种高级特性,如高亮显示、分面搜索、地理位置搜索...

    solr配置中文解析器和将数据导入solr索引库时所需的jar包

    本篇文章将深入探讨如何在Solr中配置中文解析器以及在导入数据到Solr索引库时所需关注的jar包。 首先,让我们来了解Solr中的中文解析器。在Solr中,解析器是处理文本输入的关键组件,它负责将原始文本转化为可搜索...

    solr 数据迁移工具

    使用多线程方式 通过solrj 接口向solr新增索引信息

    使用MySQL作为SOLR的索引源

    4. **触发索引更新**:可以通过SOLR的API或Web界面来触发全量或增量数据导入,使SOLR根据MySQL中的最新数据更新索引。 接下来,我们关注到`schema.xml`文件。这是SOLR的核心配置文件,定义了索引的字段类型和字段。...

    solr测试数据,数据文件

    solr测试数据,数据文件

    solr 配置 以及建立索引

    ### Solr配置与全文搜索建立索引的知识点详解 #### 一、Solr的基本安装与配置 1. **下载Solr** - **版本选择**:根据项目需求选择合适的Solr版本,通常推荐使用官方提供的最新稳定版。 - **下载地址**:从Apache...

    使用xml更新solr索引

    在Solr中,XML格式是用于向索引添加、更新或修改文档的主要方式。Solr索引是一个存储和检索信息的高效结构,它允许快速搜索和返回结果。XML数据的使用使得索引管理更加灵活和可控。 首先,我们来看如何使用XML来...

    跟益达学Solr5之索引文件夹下所有文件

    总之,"跟益达学Solr5之索引文件夹下所有文件"教程涵盖了从安装配置Solr5,创建核心,配置文件索引,到数据导入,查询优化以及监控维护等一系列步骤。通过学习这些内容,你可以掌握如何利用Solr5构建一个强大的文件...

    Solr 学习笔记(五)-Solr扩展之分布式索引实例

    在本篇Solr学习笔记中,我们将探讨Solr的分布式索引功能,这对于处理大量数据和实现高可用性至关重要。Solr的分布式索引能力允许我们跨越多个节点分布和处理索引过程,从而提高索引速度和查询性能。在实际应用中,这...

Global site tag (gtag.js) - Google Analytics