使用Solr Data Import的delta-import功能

Solr提供了full-import和delta-import两种导入方式，这篇文章主要讲解后者。

所谓delta-import主要是对于数据库（也可能是文件等等）中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件，此文件里面有最近一次导入的相关信息。这个文件如下：

1.  #Wed Apr 21 16:48:27 CST 2010

2.  last_index_time=2010-04-21 16\:48\:24

3.  id.last_index_time=2010-04-21 16\:48\:24

其实last_index_time是最近一次索引（full-import或者delta-import）的时间。

通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。

可通过http://<host>:<port>/solr/dataimport查看

下面是操作步骤：

1.       配置好请求处理器。（这个见我的上一篇文章）

2.       修改data-config.xml如下：

4.  <dataConfig> 

5.    <dataSource type="JdbcDataSource" 

6.                driver="com.mysql.jdbc.Driver" 

7.                url="jdbc:mysql://localhost:3306/workshop" 

8.                user="root" 

9.                password="123"

10.               batchSize="100"

11.               autoCommit="false" /> 

12.   <document> 

13.     <entity name="id" 

14.             query="SELECT id,`user`,title,content,`timestamp`,`text` FROM article"

15.             deltaImportQuery="SELECT id,`user`,title,content,`timestamp`,`text` FROM article where id='${dataimporter.delta.id}'"

16.                 deltaQuery="select id from article where `timestamp` > '${dataimporter.last_index_time}'"> 

17.     </entity> 

18.   </document> 

19. </dataConfig>  

注意entity标签的参数：

l  deltaImportQuery

仅适用于delta-import的参数。DIH会检查数据库中的最后修改时间是否与我们

这个示例为了尽可能简单，没有使用多表。数据库对应表结构如下：

id    Integer       increment

user  varchar(45)

title varchar(45)

content varchar(2000)

timestamp datatime

text    varchar(2000)

3.       最后我们请求：

http://<host>:<port>/solr/dataimport?command=delta-import 即可完成delta import

相关参数如下：

n  entity

entity是document下面的标签（data-config.xml）。使用这个参数可以有选择的执行一个或多个entity   。使用多个entity参数可以使得多个entity同时运行。如果不选择此参数那么所有的都会被运行。

n  clean

选择是否要在索引开始构建之前删除之前的索引，默认为true

n  commit

选择是否在索引完成之后提交。默认为true

n  optimize

是否在索引完成之后对索引进行优化。默认为true

n  debug

是否以调试模式运行，适用于交互式开发（interactive development mode）之中。

请注意，如果以调试模式运行，那么默认不会自动提交，请加参数“commit=true”

评论

5 楼 illu 2011-01-12  

flysnowxf 写道

添加和修改的数据可以做到，我想请问一下，删除的数据如何通过alter-import来删除？

用这个 deletedPkQuery
例如配置
<entity pk="id"
        deletedPkQuery ="select id from tableA where status='D'"
...

前提就是你的删除不是物理删除 只是改变状态
如果是物理删除就比较麻烦了 需要自己写存储过程让deletedPkQuery 调用

4 楼 forchenyun 2010-11-17  

flysnowxf 写道

forchenyun 写道

flysnowxf 写道

添加和修改的数据可以做到，我想请问一下，删除的数据如何通过alter-import来删除？

solr的delta import非常不完善，我看document的时候官方都不是很推荐，我们一般都是全量做import，而将增量的通过接收消息的方式更新索引

我明白你意思了，这样做只是和业务比较耦合。

完全的脱离业务还是有些困难的，呵呵
如果你想做实时，通过消息更新，基本是唯一的选择

3 楼 flysnowxf 2010-11-17  

forchenyun 写道

flysnowxf 写道

添加和修改的数据可以做到，我想请问一下，删除的数据如何通过alter-import来删除？

solr的delta import非常不完善，我看document的时候官方都不是很推荐，我们一般都是全量做import，而将增量的通过接收消息的方式更新索引

我明白你意思了，这样做只是和业务比较耦合。

2 楼 forchenyun 2010-11-17  

flysnowxf 写道

添加和修改的数据可以做到，我想请问一下，删除的数据如何通过alter-import来删除？

solr的delta import非常不完善，我看document的时候官方都不是很推荐，我们一般都是全量做import，而将增量的通过接收消息的方式更新索引

1 楼 flysnowxf 2010-11-17  

添加和修改的数据可以做到，我想请问一下，删除的数据如何通过alter-import来删除？