跟益达学Solr5之增量索引MySQL数据库表数据

       Solr5中如何增量索引MySQL数据库表中的数据，这个问题之前有某个童鞋问过我，今天午休时间就腾空更新篇博客，希望能帮助到你们。

       为了测试方便，我首先从京东网站弄了点测试数据，如图：

   这里要声明下，我不是在给京东商城打广告哈，仅仅是随便找个网站弄点测试数据，这部分工作全是我无聊手动插入MySQL数据库中的，如图：

 建表SQL以及测试数据，我待会儿会上传到底下的附件里。然后你需要在solrconfig.xml配置文件中启用全量导入和增量导入请求处理器，如图：

 然后分别配置你的data-config.xml和delta-data-config.xml配置文件，具体配置如图：

 

<dataConfig>
    <dataSource name="jdbcDataSource" type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
    url="jdbc:mysql://localhost:3306/test?useUnicode=true&amp;characterEncoding=utf-8" user="root" password="1234"/>
    <document name="mobile-doc">
        <entity dataSource="jdbcDataSource" name="mobile"  query="select * from mobile">
            <field column="id" name="id"/>
            <field column="pname" name="productName"/>
            <field column="price" name="price"/>
            <field column="color" name="color"/>
            <field column="brand" name="brand"/>
            <field column="wlan" name="wlan"/>
        </entity>
    </document>
</dataConfig>

 

 

<dataConfig>
    <dataSource name="jdbcDataSource" type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
    url="jdbc:mysql://localhost:3306/test?useUnicode=true&amp;characterEncoding=utf-8" user="root" password="1234"/>
    <document name="mobile-doc">
        <entity dataSource="jdbcDataSource" name="mobile"  
          query="select * from mobile"
          deltaImportQuery="select * from mobile where id= ${dih.delta.id}"
          deltaQuery="select id from mobile where last_update_time &gt; '${dih.last_index_time}'">
            <field column="id" name="id"/>
            <field column="pname" name="productName"/>
            <field column="price" name="price"/>
            <field column="color" name="color"/>
            <field column="brand" name="brand"/>
            <field column="wlan" name="wlan"/>
        </entity>
    </document>
</dataConfig>

   query:表示一个查询SQL，根据你提供的查询SQL来做全量导入的

 

   deltaQuery：表示一个查询SQL语句，会根据主键id去查询这条数据，根据比对最后一次更新时间，如果最后一次更新时间大于deltaimport.properties配置文件中记录的last_index_time时间，那表示该数据更新过了，需要做增量导入，每次不管是全量导入还是增量导入，deltaimport.properties配置文件中的last_index_time时间都会更新，deltaimport.properties配置文件若不存在也会自动创建，不需要你手动创建。

   deltaImportQuery：表示一个SQL语句，即如何去加载当前数据，一般是根据主键id去查询。

   然后你需要配置下schema.xml定义一些域，如图：

 

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
   <field name="productName" type="text_ik" indexed="true" stored="true" omitNorms="true" multiValued="false"/>
   <field name="price" type="double" indexed="true" stored="true" />
   <field name="color" type="string" indexed="true" stored="true" sortMissingLast="true"/>
   <field name="brand" type="string" indexed="true" stored="true" sortMissingLast="true"/>
   <field name="wlan" type="text_ik" indexed="true" stored="true" />


<uniqueKey>id</uniqueKey>

   最后重启你的Tomcat开始测试，如图：

 

   先做次全量导入

 全量导入成功后，请手动往数据库表里添加一条测试数据用于增量索引测试，如图：

 然后请切换到增量导入，如图：

 
接着看图：

     OK,大功告成，如果你在实践过程中出现任何问题，请联系我，solr_home整个目录以及测试数据库SQL我都会打包上传到底下的附件里，供你们参考。lib目录下依赖的jar我没上传，因为Jar包体积太大，ITeye上传不了，如果你找不到jar包，请参阅我的这篇博客

《跟益达学Solr5之索引文件夹下所有文件》，在那篇博客里有提供jar包的百度网盘下载地址，特此提醒！！！

 

     如果你还有什么问题请加我Ｑ-Q：7-3-6-0-3-1-3-0-5，

或者加裙
一起交流学习！

 

       

评论

9 楼 kingxianstar 2018-01-19  

8837One_day 写道

你好作者，所有的配置文件都配置了，在数据库中也添加新的一条数据，但是使用增量导入时还是不能导进新增的那条数据呢？我用的solr是4.6的，数据库用的是oracle

增量导入的问题解决了么？我也遇到了，我用的是solr5.1 ,也是用的oracle

8 楼 8837One_day 2017-11-16  

你好作者，所有的配置文件都配置了，在数据库中也添加新的一条数据，但是使用增量导入时还是不能导进新增的那条数据呢？我用的solr是4.6的，数据库用的是oracle

7 楼 lp1111111 2015-12-14  

去掉clean选项就可以了

6 楼 lp1111111 2015-12-14  

增量索引成功了，但是之前的全量索引不见了，query的时候只有最后增量的数据，这是勾选了clean选项。
【clean:表示是否在导入数据创建索引之前先清空掉原有的索引】

5 楼 Jeremy__Pan 2015-12-13  

呵呵，作者您好，我又来了。。。根据您的这个教程（我使用solr5.2） 遇到一个问题，

java.sql.SQLException: Illegal value for setFetchSize()

我不知道其他版本有没有这个问题，就添在评论里，作者见谅

在 data-config.xml和delta-data-config.xml 的 dataSource 加上 batchSize="-1″ 就可以解決這個問題囉！【http://tech.crazyall.net/3170/solr-%E6%95%99%E5%AD%B8-5-%E5%BB%BA%E7%AB%8B%E6%96%B0%E7%9A%84-core】

4 楼 Jeremy__Pan 2015-12-05  

Jeremy__Pan 写道

您好，我按照你的这个来，但是在 dataimport 那里一直转的。木有出来页面，查看浏览器 js 出错了  Uncaught ReferenceError: naturalSort is not defined :8080/solr/js/lib/naturalSort.js?_=5.2.0:30 Uncaught SyntaxError: Unexpected token ILLEGAL    solr5.2  

原来是solr的js 文件写错了。。。。。今天解决了啊。。。太坑了

https://issues.apache.org/jira/browse/SOLR-7588

naturalSort.js 文件代码修改为 https://github.com/jarinudom/naturalSort.js/blob/master/dist/naturalSort.js
就可以看见 dataimport 页面了

3 楼 Jeremy__Pan 2015-12-03  

您好，我按照你的这个来，但是在 dataimport 那里一直转的。木有出来页面，查看浏览器 js 出错了  Uncaught ReferenceError: naturalSort is not defined :8080/solr/js/lib/naturalSort.js?_=5.2.0:30 Uncaught SyntaxError: Unexpected token ILLEGAL    solr5.2  

2 楼 fengyong7723131 2015-10-15  

增量索引成功了，但是之前的全量索引不见了，query的时候只有最后增量的数据，这是怎么回事呢？

1 楼 有翅膀的灰机 2015-05-29  

感谢益达，我只弄过手动的还没弄过DIH的，学习