`
13shu
  • 浏览: 73026 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

solr 数据源导入需要注意的问题 dataimport.xml

    博客分类:
  • solr
阅读更多

配置data-conf.xml配置文件时注意大小写。

	<document name="faq">
		<entity name="t_faq" dataSource="jdbc" pk="id"
			transformer="ClobTransformer" query="select * from im_ry_faq t">
			<field column="id" name="id" />
			<field column="question" name="question" />
			<field column="ANSWER" name="answer" clob="true" />
			<field column="key_word" name="keywords" />
		</entity>
	</document>

 ANSWER如果改成小写,那么ClobTransformer是不会被执行解析的。

 

看solr如下代码

public Object transformRow(Map<String, Object> aRow, Context context) {
    for (Map<String, String> map : context.getAllEntityFields()) {
      if (!TRUE.equals(map.get(CLOB))) continue;
      String column = map.get(DataImporter.COLUMN);
      String srcCol = map.get(RegexTransformer.SRC_COL_NAME);
      if (srcCol == null)
        srcCol = column;
      Object o = aRow.get(srcCol);
      if (o instanceof List) {
        List<Clob> inputs = (List<Clob>) o;
        List<String> results = new ArrayList<String>();
        for (Object input : inputs) {
          if (input instanceof Clob) {
            Clob clob = (Clob) input;
            results.add(readFromClob(clob));
          }
        }
        aRow.put(column, results);
      } else {
        if (o instanceof Clob) {
          Clob clob = (Clob) o;
          aRow.put(column, readFromClob(clob));
        }
      }
    }
    return aRow;
  }
 Object o = aRow.get(srcCol);如果填写小写是获取不到对象。那么就不会被ClobTransformer即使你配置了也是无效的
分享到:
评论

相关推荐

    solr-dataimport-scheduler.jar 可使用于solr7.x版本

    Solr 数据导入调度器(solr-dataimport-scheduler.jar)是一个专门为Apache Solr 7.x版本设计的组件,用于实现数据的定期索引更新。在理解这个知识点之前,我们需要先了解Solr的基本概念以及数据导入处理...

    支持solr6.1-solr-dataimport-scheduler-1.2.jar

    使用 `solr-dataimport-scheduler`,你需要在 Solr 的配置文件中定义调度器和数据源,指定数据源的连接参数、查询语句以及导入的字段等。同时,你还需要配置调度器的触发时间和频率,这通常在 `solrconfig.xml` 和 `...

    solr6 增量导入demo

    1. 定义DataConfig.xml:在solr/solr_home/collection/conf目录下创建DataConfig.xml文件,配置数据源、表名、主键以及增量导入的查询条件。 2. 配置Solr schema:确保Solr的Schema.xml文件包含了需要索引的所有...

    solr-dataimport-scheduler 的jar包

    Solr DataImport Handler 是Solr内置的一个特性,它允许从关系型数据库或其他数据源导入数据并建立索引。DIH通过XML配置文件定义数据源、查询、转换和加载过程,使得数据导入过程可定制化。 2. **Solr DataImport ...

    solr-dataimport-scheduler

    Solr 数据导入调度器(solr-dataimport-scheduler)是一个实用工具,用于自动化Apache Solr中的数据导入过程,尤其适用于需要定期从关系型数据库同步数据的场景。Solr 是一个流行的开源全文搜索引擎,它提供了强大的...

    solr5.3.1 导入mysql数据

    总之,将 MySQL 数据导入 Solr 5.3.1 需要正确配置 Schema.xml 和 DataConfig.xml,然后利用 DataImportHandler 完成数据迁移。这一过程对于构建高效、可扩展的全文搜索引擎至关重要。通过熟练掌握这些知识,可以...

    solr7.4数据库导入Demo(mysql数据库)

    接着,创建`data-config.xml`文件,定义数据源和数据实体。在这个例子中,我们将使用MySQL数据库,所以配置如下: ```xml &lt;dataConfig&gt; &lt;dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url=...

    Solr data import 中XMLHTTP 数据源的使用.docx

    Solr Data Import Handler (DIH) 是 Apache Solr 中一个强大的功能,用于导入和更新来自各种数据源的数据。在处理HTTP中的XML数据时,Solr提供了XML/HTTP数据源,使得能够索引通过HTTP协议获取的RESTful或XML/RSS/...

    dataimportscheduler-1.3.jar

    DIH支持多种数据源,如关系型数据库(MySQL、Oracle等)、CSV文件、XML文件等,并提供了全量导入和增量导入两种模式。全量导入是指一次性导入所有数据,而增量导入则仅导入自上次导入以来发生变化的数据。 二、...

    solr-dataimporthandler的jar包

    Solr 数据导入处理器(DataImportHandler,DIH)是 Apache Solr 的一个重要组件,它允许用户从各种数据源,如关系型数据库、CSV 文件等,批量导入数据到 Solr 索引中。这个功能极大地简化了数据同步和更新的过程,...

    修改过后的兼容solr6 solr7的dataimportscheduler.jar包

    在 Solr 中,通常使用 DataImportHandler (DIH) 来从外部数据源(如数据库)导入数据并建立索引。DIH 提供了全量导入和增量导入的能力,但默认情况下并不具备自动执行导入任务的定时功能。`dataimportscheduler` ...

    apache-solr-dataimportscheduler

    在 Solr 中,数据导入是通过 Data Import Handler (DIH) 实现的,这是一个用于从外部数据源导入数据到 Solr 索引的工具。DIH 支持全量导入和增量导入,全量导入会将整个数据源重新导入,而增量导入只导入自上次导入...

    solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包

    在标题提到的"solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包"中,`apache-solr-dataimportscheduler.jar`是用于实现Solr数据导入计划任务的扩展插件。这个插件使我们能够设置定时任务,...

    apache-solr-dataimporthandler-extras-1.4.0.jar.zip

    - **启动DataImport**: 通过Solr的管理界面或API启动数据导入过程。 - **监控和调试**: 检查日志文件或使用Solr的监控工具跟踪导入进度和错误。 **4. 注意事项** - 确保与Solr版本兼容:这个JAR文件是1.4.0版本,...

    solr-8.2.0.rar

    Solr 8.2.0整合MySQL的过程主要包括安装部署、配置数据源、创建Core、设置数据映射、导入数据以及查询测试。这个过程能够让你的数据库中的数据具备强大的全文检索和分析能力,提高数据的可搜索性和用户体验。在实际...

    Solr定时更新Solr定时更新

    然后,可以在`data-config.xml`文件中详细指定如何映射数据源字段到Solr的文档字段,以及如何进行全量或增量导入。对于定时任务,可能需要在外部的配置文件(如`dataimport.properties`)中设置调度器的相关属性,如...

    solr所需要配置的资源.zip

    4. `data-config.xml`(可选):用于配置数据驱动的索引(Data Import Handler, DIH),允许Solr从外部数据源(如数据库)导入数据。 5. `lib`目录:可以放置自定义的JAR文件,比如IK分词器的jar,这些库会被Solr在...

    solr开发指南.pdf

    &lt;requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"&gt; &lt;str name="config"&gt;data-config.xml ``` 至此,Solr服务器已经成功搭建并配置了基本的数据导入功能。...

    solr-4.10.3.tgz.tgz

    此外,Solr还支持多种数据源的接入,例如文件系统、数据库等,通过数据驱动的配置(Data Import Handler, DIH)可以定期或者按需更新索引。对于新手来说,理解Solr的索引生命周期管理和请求处理器是非常重要的,它们...

Global site tag (gtag.js) - Google Analytics