DataImportHandler Solr数据导入DIH使用

DataImportHandler

Solr数据导入DIH使用

概述

 

目标

1、  读驻留在关系数据库中的数据

2、  根据多个表的列和数据建立solr文档

3、  根据这些文档更新solr

4、  提供根据配置做处理

5、  删除，修改，增加做增量导入

6、  定期的增量导入和全量导入

7、  通过配置文件读取xml,(http/ftp)建立索引

8、  提供插件使得其他任何数据源（FTP，SCP等）和其他格式的用户选择（JSON，CSV等）提供支持。

 

设计概要

Handler应该配置到solrconfig.xml中，如下面

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

    <lst name="defaults">

      <str name="config">/home/username/data-config.xml</str>

    </lst>

  </requestHandler>

 

故名思想，这个类实现了SolrRequestHandler(SolrRequestHandler使用.doc)，配置在两个地方提供：

1、solrconfig.xml, 数据配置文件的位置添加在这里

2、数据源也可以添加在这里。或者配置在data-config.xml中

3、Data-config.xml

a)         如何获取数据(queries,url等)

b)         怎么读取（ resultset columns，xml字段等）

c)         怎么执行（修改/添加/删除）

 

使用关系数据库管理系统

 

为了使用这个处理程序，下面的步骤是必需的。

1、定义一个data-config.xml文件，并且在solrconf.xml中DataImportHandler的节点下指定位置。

2、给连接信息，(如果你选择把数据源存储在solrconfig.xml中)

3、如果一切正常，HTTP打开dataimporthandler页面来验证 ,http://localhost:8983/solr/dataimport

4、使用全量导入，将会把数据库中所有数据添加到solr索引中。

5、使用增量导入，将会把数据库中（新增的或修改的）数据添加到solr索引中。

 

配置数据源

 

在dataConfig标签下添加一个dataSource标签。

<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>

1、  dataSource配置也可以被添加到solrconfig.xml 中

2、属性”type”指定实现类，它是可选的。默认值是“jdbcdatasource”

3、属性名称，可以在多个实体使用多个数据源的应用

4、自定义插件的实现【solr数据库导入数据自定义插件的实现.doc】

 

Oracle例子

 

首先，需要下载oracle 的jdbc驱动到你 solr安装目录的lib下面。

<dataSource name="jdbc" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@//hostname:port/SID" user="db_username" password="db_password"/>

 

多数据源

 

可以配置有多个数据源，配置一个额外的数据源，新添加一个dataSource配置即可，有一个隐含的属性“name”，数据源名称。如果有一个以上的，每一个额外的数据源必须确定一个唯一的名称的名称=“datasource-2”。

例如

<dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>

<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>

 

在你的实体中

..

<entity name="one" dataSource="ds-1" ...>

   ..

</entity>

<entity name="two" dataSource="ds-2" ...>

   ..

</entity>

..

 

配置JdbcDataSource

JdbcDataSource 可使用的属性有：

·         driver (必须的): The jdbc driver classname

·         url (必须的) : The jdbc connection url (如果jndiName配置了，就不是必须的)

·         user : 用户名

·         password : 密码

·         jndiName : JNDI name of the preconfigured datasource

·         batchSize : The batchsize used in jdbc connection. Use a value of '-1' in case of setFetchSize()  exception.

·         convertType :(true/false)默认为“false”自动读取目标Solr数据类型的数据

·         autoCommit : If set to 'false' it sets setAutoCommit(false)  Solr1.4

·         readOnly : If this is set to 'true' , it sets setReadOnly(true), setAutoCommit(true),setTransactionIsolation(TRANSACTION_READ_UNCOMMITTED),setHoldability(CLOSE_CURSORS_AT_COMMIT) on the connection 

·         <!--[endif]-->transactionIsolation : The possible values are [TRANSACTION_READ_UNCOMMITTED, TRANSACTION_READ_COMMITTED, TRANSACTION_REPEATABLE_READ,TRANSACTION_SERIALIZABLE,TRANSACTION_NONE]

任何额外的属性将标签直接传递到JDBC驱动程序。

 

配置data-config.xml文件

 

Solr的文档可以来自数据库的多个表，

Data-config.xml 开始于document 标签，一种文档代表了一个文档，文档包含一个或多个根实体。一根实体可以包含多个子实体，这反过来又可以包含其他实体。一个实体对应关系数据库中的表/视图。每个实体可以包含多个域。每个字段对应的结果集的列在实体查询返回的。每个领域，在结果集的提列名称。如果列名称不同Solr字段名称，另一个属性的名称应给予，所有的属性，比如type类型，都将从solr中schemal.xml中寻找。

 

为了从数据库中获取数据，我们的设计理念，围绕“模板化的SQL '为每个实体的用户。

 

参考网址

http://wiki.apache.org/solr/DataImportHandler