`
会飞的拉布拉多
  • 浏览: 15742 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

solr4.7 dataimport增量全量创建索引

    博客分类:
  • solr
阅读更多
  索引创建完毕,就要考虑怎么定时的去重建, 除了写solrj,可以定时调用下面两条url进行增量或者全量创建索引
  全量:http://ip:port/webapp_name/core_name/dataimport?command=full-import
  增量:http://ip:port/webapp_name/core_name/dataimport?command=delta-import
  全量索引直接调用就可以,因为是完全删除重建
  如果是增量索引,就稍微麻烦一些,首先你必须在表中定义两个字段,一个是删除标志:isdeleted,另一个则是记录创建时间:create_date,名称随意,这两个字段主要通知solr对已有索引的删除,和需要导入的新纪录的时间(solr建立索引会生成dataimport.properties,里面last_index_time=2014-03-07 14\:48\:27记录了上次建立索引的时间,需要你指定create_date在这个时间之后的记录进行增量)
  接下来需要你在dataimport.xml增加如下配置:

<entity pk="ID"  name="test" 
    query="select  *  from test WHERE isdelete=0 "   
    deltaQuery="select ID  from test where
                create_date>'${dataimporter.last_index_time}'"                 
    deletedPkQuery="select ID from myinfo where isdelete=1"            
    deltaImportQuery="select * from myinfo where     
                      ID='${dataimporter.delta.ID}'"> 
     

  含义如下: 
       deltaQuery
       查询出所有经过修改的记录的ID 
       可能是修改操作,添加操作,删除操作产生的 
       (此查询只对增量导入起作用,而且只能返回ID值)  

       deletedPkQuery
       此操作值查询那些数据库里伪删除的数据的ID(即isdelete标识为1的数据) 
       solr通过它来删除索引里面对应的数据 
       (此查询只对增量导入起作用,而且只能返回ID值) 
     
        deltaImportQuery
        次查询是获取以上两步的ID,然后把其全部数据获取,根据获取的数据 
        对索引库进行更新操作,可能是删除,添加,修改 
        (此查询只对增量导入起作用,可以返回多个字段的值,一般情况下,都是返回所有字段的列)             
分享到:
评论

相关推荐

    solr4.7服务搭建

    ### Solr 4.7 服务搭建详细指南 #### 一、环境准备 为了搭建 Solr 4.7 服务,我们需要确保以下环境已经准备好: ...通过以上步骤,用户可以成功搭建并配置好 Solr 4.7 服务,实现高效的数据索引和搜索功能。

    solr-dataimport-scheduler.jar 可使用于solr7.x版本

    Solr 数据导入调度器(solr-dataimport-scheduler.jar)是一个专门为Apache Solr 7.x版本设计的组件,用于实现数据的定期索引更新。在理解这个知识点之前,我们需要先了解Solr的基本概念以及数据导入处理...

    solr4.7服务器

    Solr4.7服务器是基于Java的开源搜索和分析引擎,它在Apache Lucene库的基础上构建,用于提供高效、可扩展的全文检索、数据分析和分布式搜索服务。此版本的Solr适用于Java运行环境JDK1.6,这表明它是对较旧Java版本的...

    Solr数据库插入(全量和增量)索引

    Solr 数据库插入全量和增量索引 Solr 是一个基于 Lucene 的搜索引擎,可以快速高效地对大量数据进行索引和查询。在实际应用中,我们需要将数据插入 Solr 索引库中,以便实现高效的搜索功能。本文将详细介绍 Solr ...

    solr4.7从数据库导数据[归类].pdf

    &lt;requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"&gt; &lt;str name="config"&gt;data-config.xml ``` 接下来,创建一个新的 `data-config.xml` 文件,放在同一目录...

    apache solr guide 4.7

    ### Apache Solr Guide 4.7 知识点解析 #### 一、Apache Solr 概述 **Apache Solr** 是一个高性能、基于 Lucene 的全文检索服务系统,广泛应用于互联网企业的搜索服务中。Solr 提供了高度可扩展且稳定的搜索功能,...

    为Lucene/Solr 4.7重新打包的IKAnalyzer 2012 FF

    当前的IKAnalyzer官方版在用于Solr4以上高版本时,由于没有TokenizerFactory而造成诸多不便,于是有了为Lucene/Solr 4.7重新打包的IKAnalyzer 2012 FF

    solr-dataimport-scheduler.jar

    经过测试可以适用solr7.4版本。如果低版本solr(6.*) 可以直接适用网上的solr-dataimport-scheduler 1.1 或者1.0版本。

    solr-dataimport-scheduler

    总结来说,solr-dataimport-scheduler是Solr环境下的一个强大工具,它通过自动化数据导入,帮助用户保持Solr索引与数据库的一致性。对于那些需要实时或定时更新搜索结果的企业和项目,这个工具无疑提供了高效且可靠...

    支持solr高版本定时增量任务fix版本solr-dataimport-scheduler-fix

    这是我自己反编译fix后,支持solr7.4高版本的定时增量任务(亲测solr7.4),下载下来开箱即用。低版本的没试过,估计低版本的solr配合之前apache-solr-dataimportscheduler-1.0.jar这些能行,不行就试试我这个。

    slor定时增量更新索引dataimport.properties

    slor定时增量更新索引dataimport.properties

    支持solr6.1-solr-dataimport-scheduler-1.2.jar

    在 Solr 的生态系统中,`solr-dataimport-scheduler-1.2.jar` 是一个非常重要的组件,它允许用户定时执行数据导入任务,这对于需要定期更新索引的应用场景尤其有用。这个特定的版本 `1.2` 已经被优化以兼容 `Solr ...

    solr4.7中文企业开发参考文档

    Solr,全称为Apache Solr,是一款开源的企业级搜索引擎,由Apache软件基金会开发。...提供的文档“SOLR中文教程.doc”和“Solr4.7中文学习手册.docx”将更深入地阐述这些概念和操作方法,为开发者提供详尽的指导。

    solr4.7示例包含需要的jar包

    solr4.7+myeclipse示例包含需要的jar包 httpcore-4.3 httpmime-4.3.1 jtds-1.2.4 jul-to-slf4j-1.6.6 solr-core-4.7.0

    solr-dataimport-scheduler 的jar包

    Solr DataImport Handler 是Solr内置的一个特性,它允许从关系型数据库或其他数据源导入数据并建立索引。DIH通过XML配置文件定义数据源、查询、转换和加载过程,使得数据导入过程可定制化。 2. **Solr DataImport ...

    solr4.7从数据库导数据[参照].pdf

    ### Solr 4.7 从数据库导入数据创建索引详解 #### 一、概述 在实际工程应用中,从数据库导出数据并创建索引来优化搜索效率是一种常见的做法。本文将详细介绍如何使用Solr 4.7从SQL Server 2005数据库中导入数据并...

    solr-dataimport-scheduler.jar定时同步

    使用solr做数据库定时同步更新数据和索引时用到该jar,经过本人测试通过,放心使用. 支持solr5.x,solr6.x

    solr4.7+中文分词器IK Analyzer 2012FF_hf1

    6. **数据导入**:介绍如何导入数据到 Solr 并创建索引。 7. **搜索测试**:说明如何进行简单的搜索操作,验证 IK Analyzer 的功能。 `wltea-IK-Analyzer-2012FF-master.zip` 文件可能是 IK Analyzer 的源码或扩展...

    solr-dataimport-schedulersolr数据导入定时任务.zip

    solr-dataimport-schedulersolr数据导入定时任务

Global site tag (gtag.js) - Google Analytics