跟益达学Solr5之从MySQL数据库导入数据并索引

       最近有小伙伴跟我抱怨说：益达，最近博客更新的有点慢呐。其实不是我变懒了，我是不想因为数量而降低了博客的质量，我需要抱着对你们负责的态度来写每一篇博客，绝不能含糊啊，所以，还望大家多多包涵呐。

今天群里一朋友问我Solr如何对数据库表里的数据进行索引，为此，今晚特地更新此篇博客，这里我以Solr当前最新版本5.1.0，数据库MySQL为例进行讲解说明。

首先我们需要准备一张测试表，如图：

 

 

 测试表创建好了之后，我们需要让表里插入几条测试数据，如图：

 然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下，如图：


 
 复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库，那就是复制Oracle数据库驱动jar包，你懂的)，如图：

 然后你需要创建solr_home根目录，以及在solr_home创建你的core目录结构，如图：

 至于如何创建，请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr》，这里就不再赘述了。

默认dataImport功能在Solr5中是禁用的，需要在solrconfig.xml中添加如下配置开启数据导入功能：

<requestHandler name="/dataimport" class="solr.DataImportHandler">
      <lst name="defaults">
            <str name="config">data-config.xml</str>
      </lst>
</requestHandler>

 

这里的data-config.xml是个相对路径，是相对于你当前core下的conf目录即C:\solr_home\core1\conf，当然你也可以直接写成绝对路径，比如：C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。

 

从E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份 data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下，如图：


 

 然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改，如图：

 其中solrDB为数据源自定义名称，随便取，没什么约束，type这是固定值，表示JDBC数据源，后面的driver表示JDBC驱动类，这跟你使用的数据库有关，url即JDBC链接URL,后面的user，password分别表示链接数据库的账号密码，下面的entity映射有点类似hiberante的mapping映射，column即数据库表的列名称，name即schema.xml中定义的域名称

 

紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置，如图：

 注意：这里的cndate域类型是我自定义的域类型，我在下面定义的，看图：

 TrieCNDateField是我自定义的域类型，源码我稍候分享，主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储，而不是默认的西方人习惯的类似这样的格式：1995-12-31T23:59:59Z

 本来是想直接修改TrieDateField的源码的，但我感觉那样不够优雅，所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。

 把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下，如图：

 然后启动我们的Tomcat,如图：

 这里我假定你们都已经成功把Solr5部署到了Tomcat下了，如果Tomcat正常启动后，我们会看到：

 然后打开你们的浏览器，访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问，如图：

 点击左侧的Dataimport菜单，不出意外的话，你将看到如图截图：

 需要引起注意的是这里的command参数，它有两个选项，如图：

 full-import:全量导入，它会覆盖原有的索引

delta-import:即增量导入，它会在原有索引的基础上追加

下面的几个多选框含义解释如下：

verbose:这个选项设为true的话，会打印导入的一些中间过程的详细信息，有利于调试以及了解内部操作细节

clean:表示是否在导入数据创建索引之前先清空掉原有的索引

commit:表示是否立即提交索引

optimize:表示是否优化索引

debug: 表示是否开启调试模式

 

然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作，如图：

 如果你看到indexing字样，如图:

 如果你导入的数据并不多，但这个界面停留了很长时间(比如超过了30秒，就不需要再傻傻等着了)，那么很有可能数据导入过程出错了，这时，请切换到logging菜单查看solr日志，如图：

 日志提示有几个html文件找不到，我们可以在solr的解压安装目录下可以找到，如图：

 然后我们需要清掉索引目录重新执行dataimport操作，如图：

 然后重启我们的tomcat，重新执行dataimport操作，如图：

 切换到overview菜单，我们会看到：

 切换到Query菜单，对我们刚插入的索引进行查询测试，如图：

 OK,至此从数据库导入数据并索引就讲解到这儿了，至于最后抛出的问题就留给你们自己解决啦，最后关于我自定义的日期域类型我会在底下的附件里上传，因为ITeye不适合上传大文件，所以依赖的jar包我就不提供了，需要完整源码的，请从我提供的百度网盘地址去下载：

      http://pan.baidu.com/s/1i3J4DZf

 

 

 

     如果你还有什么问题请加我Ｑ-Q：7-3-6-0-3-1-3-0-5，

或者加裙
一起交流学习！

 

 

 

 

 

 

 

 

 

评论

9 楼 qq_22626483 2016-08-06  

lcn091 写道

duronshi 写道

为什么我连oracle数据库导入后查询，只能导入一个字段呢？其它字段在data-config.xml、schema.xml里面都有配置。
这种是什么原因呢？

   我也是，连接mysql数据库后，只能导入第一个字段，后面的字段数据，比如name,sex等都没导入doc?求原因

一样只能导入一个字段

8 楼 汾水边的意气少年 2016-07-14  

我的在生成索引时一直报错：Caused by: org.apache.solr.handler.dataimport.DataImportHandlerException: One of driver or jndiName must be specified in the data source Processing Document # 1 ，这是怎么回事，data-config.xml是按楼主这么配的

7 楼 lcn091 2016-03-26  

duronshi 写道

为什么我连oracle数据库导入后查询，只能导入一个字段呢？其它字段在data-config.xml、schema.xml里面都有配置。
这种是什么原因呢？

   我也是，连接mysql数据库后，只能导入第一个字段，后面的字段数据，比如name,sex等都没导入doc?求原因

6 楼 shangxp 2016-03-10  

xue xi  le   

5 楼 New_Mao_Er 2016-01-14  

始终都是这个异常： org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Error Instantiating requestHandler, solr.DataImportHandler failed to instantiate org.apache.solr.request.SolrRequestHandler。
我已经看过配置 了，
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler*\.jar" />
这段配置说明已经引入报dataimporthandler包。
正在尝试是不是这个路径 有问题

4 楼 lp1111111 2015-12-10  

或者是将&换为&amp;

3 楼 lp1111111 2015-12-10  

data-config.xm配置中，需要注意一点，配置数据源时，url中不要有&号。

例如：
<dataSource name="solrDB" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" user="pavo" password="pavo" url="jdbc:mysql://192.168.99.207:3306/pavo_register?useUnicode=true&characterEncoding=utf-8" />

改为
<dataSource name="solrDB" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" user="pavo" password="pavo" url="jdbc:mysql://192.168.99.207:3306/pavo_register?useUnicode=true" />

我碰到的问题是，如果带上&号，启动tomcat后，在solr的dataimport操作中，Entity的下拉框中没有数据。去掉&号就可以了。

2 楼 duronshi 2015-07-02  

为什么我连oracle数据库导入后查询，只能导入一个字段呢？其它字段在data-config.xml、schema.xml里面都有配置。
这种是什么原因呢？

1 楼 orangesdk 2015-05-13