`
zoutuo1986
  • 浏览: 179160 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

solr导入配置规则总结

阅读更多
<dataConfig>
	<dataSource type="JdbcDataSource" driver="dm.jdbc.driver.DmDriver"
		url="jdbc:dm://172.16.17.68:5236/DMSERVER" user="BSS_DEV" password="123456789" />
	<document name="index">
		<entity name="indexBean" pk="id" transformer="ClobTransformer,RegexTransformer"
			query="select id, busi_id, title, CONTENT, filenames, url, datatime,secret_level,appid, moduleid, state from solr_index">
			<field column="id" name="id" />
			<field column="title" name="title" />
			<field column="CONTENT" name="content" clob="true"/><!-- CONTENT必须大写 -->
			<field column="fileNames" splitBy="," sourceColName="FILENAMES"/> <!-- FILENAMES必须大写 -->
			<field column="url" name="url" />
			<field column="datatime" name="dataTime" />
			<field column="secret_level" name="secretLevel" />
			<field column="appid" name="appId" />
			<field column="moduleid" name="moduleId" />
			
			<entity name="users" query="select user_id from solr_index_users where index_id = '${indexBean.ID}'">
				<field column="USER_ID" name="userIds" /><!-- USER_ID必须大写 -->
			</entity>
			
			<entity name="orgs" query="select org_id from solr_index_orgs where index_id = '${indexBean.ID}'">
				<field column="ORG_ID" name="orgIds" />
			</entity>
			
			<entity name="keywords" query="select keyword_name||':'||keyword_value keyword_v from solr_index_keyword where index_id = '${indexBean.ID}'">
				<field column="KEYWORD_V" name="keyword" />
			</entity>
			
		</entity>
	</document>
</dataConfig> 

 

<fields>
		<field name="id" type="string" indexed="true" stored="true" required="true" />
		<field name="title" type="text" indexed="true" stored="true" />
		<field name="keyword" type="text" indexed="true" stored="true" multiValued="true"/>
		<field name="content" type="text" indexed="true" stored="true" />
		<field name="fileNames" type="text" indexed="true" stored="true" multiValued="true"/>
		<field name="url" type="string" indexed="false" stored="true"/>
		<field name="dataTime" type="date" indexed="true" stored="true"/>
		
		<field name="secretLevel" type="string" indexed="true" stored="true"/>
		<field name="orgIds" type="string" indexed="true" stored="true" multiValued="true"/>
		<field name="userIds" type="string" indexed="true" stored="true" multiValued="true"/>
		<field name="appId" type="string" indexed="true" stored="true"/>
		<field name="moduleId" type="string" indexed="true" stored="true"/>
		
		<field name="all" type="text" indexed="true" stored="false"/>
	</fields>
	<copyField source="title" dest="all"/>
	<copyField source="keyword" dest="all"/>
	<copyField source="content" dest="all"/>
	<copyField source="fileNames" dest="all"/>
	<uniqueKey>id</uniqueKey>
	<defaultSearchField>all</defaultSearchField>
	<solrQueryParser defaultOperator="AND" />

 

 

1:entity.transformer的值是转换器类  如果有两个用逗号分开

ClobTransformer 处理clob

RegexTransformer 处理 正则

2:field.column,field.sourceColName中的值如果需要转换器调用,就需要大写,

3:如果field.column 与 field.name 是多对一的关系, 也需要大写

<entity name="users" query="select user_id from solr_index_users where index_id = '${indexBean.ID}'">

<field column="USER_ID" name="userIds" /><!-- USER_ID必须大写 -->

</entity>

4:entity.query中sql  占位符的列部分也需要大写${indexBean.ID}

 

-----fk 调了1,2个小时,不记录下来浪费了。

分享到:
评论

相关推荐

    solr5.4开发环境完整配置

    总结一下,配置 Solr 5.4 开发环境包括以下几个关键步骤: 1. 下载并安装 Solr 5.4。 2. 启动 Solr 服务器。 3. 创建 Solr 核心,并配置 schema.xml。 4. 将 mmseg4j jar 包添加到 Solr 的 lib 目录,并在 ...

    solr所需配置文件

    4. **data-config.xml**: 如果你使用Solr的数据导入工具(DIH,DataImportHandler),此文件定义了如何从外部数据库或其他数据源导入数据。它包含了数据库连接信息、SQL查询、实体和字段映射等配置。 5. **...

    solr-dataimport-scheduler.jar 可使用于solr7.x版本

    然后,在Solr的配置文件(如solrconfig.xml)中,你需要定义一个DIH的配置,包括数据源类型、查询语句、映射规则等。接着,设置定时任务的配置,例如定义一个cron表达式来指定数据导入的频率。 定时任务的触发可以...

    图解Solr5.3.1与MySQL配置【原创】

    2. **引入data-config.xml**:指定之前创建的`data-config.xml`文件,以便DIH能够根据该配置文件中的规则从MySQL中导入数据。 #### 六、全局属性配置 `core.properties` 文件包含了关于Solr核的一些全局配置信息,...

    solr服务器的搭建与配置实例

    **步骤17:** 在`core1\conf`目录下创建`data-config.xml`文件,用于配置数据导入规则。 **步骤18:** 设置定时更新索引的配置,在`solrconfig.xml`中添加监听器配置: ```xml &lt;!-- 调度监听 --&gt; ...

    solr6.5.1定时增量apache-solr-dataimportscheduler

    配置DataImportScheduler时,你需要在Solr的配置文件(如`solrconfig.xml`)中添加相关配置,定义数据源、导入类型、定时规则等。同时,还需要在Solr的Schema文件(`schema.xml`或`managed-schema`)中定义字段,以...

    solr-7.7.3配置详解,跟springboot整合 (二)

    配置`data-config.xml`文件定义数据源和映射规则。 **二、Spring Boot整合Solr** 1. **依赖管理** - 在Spring Boot项目中,添加Solr的Spring Data Solr依赖,如: ```xml &lt;groupId&gt;org.springframework.data ...

    solr 搜索引擎总结及相关安装教程

    - **数据源集成**:可以将外部数据(如 MySQL 数据库)导入 Solr,通过 DataImportHandler 和 `data-config.xml` 文件配置数据源连接和映射规则。 - **启动与测试**:启动 Solr 服务,通过 Web 界面(默认端口 ...

    solr导航搜索工具+文档+配置代码

    在这个“solr导航搜索工具+文档+配置代码”压缩包中,包含了Solr的相关资源,可以帮助我们快速理解和部署Solr。 一、Solr的核心概念与特点 1. 文档索引:Solr通过将输入数据转换为结构化的文档,建立索引,从而实现...

    solr-dataimport-scheduler

    总结来说,solr-dataimport-scheduler是Solr环境下的一个强大工具,它通过自动化数据导入,帮助用户保持Solr索引与数据库的一致性。对于那些需要实时或定时更新搜索结果的企业和项目,这个工具无疑提供了高效且可靠...

    Solr3.5整合Tomcat

    5. **创建和导入数据**:在 Solr 的管理界面,可以创建新的索引,导入数据,设置字段类型,以及配置搜索和展示的相关参数。这个过程通常需要编写 XML 文件(如 `data-config.xml`)来描述数据源和映射规则。 6. **...

    solr4.9开发所需jar包

    4. **数据导入处理程序(DIH)配置**:设置`data-config.xml`来定义数据源、查询、映射字段和转换规则。 5. **搜索功能**:掌握如何构建查询语句,使用查询解析器和查询函数,以及进行结果排序和分组。 6. **...

    tomcat9 + solr

    - 根据你的应用需求,考虑为Solr和Tomcat配置安全措施,如SSL加密、防火墙规则和用户权限。 - 根据性能测试结果,调整Tomcat和Solr的配置,例如JVM内存大小、线程池大小、连接超时等。 在Windows 10上配置Tomcat9...

    solr项目和相关资源.rar

    压缩包可能包含示例数据和导入配置,让用户学习如何将数据导入到Solr。 8. **查询与结果处理**:Solr的查询语言非常强大,支持布尔运算、范围查询、模糊匹配等多种查询语法。结果处理包括排序、分页、高亮等,这些...

    windows-solr集群.docx

    本文详细介绍了Solr的基础知识、单机安装配置流程、数据导入与同步方法,以及简要概述了Solr在Windows和Linux环境下的集群部署策略。通过本文的学习,读者能够掌握Solr的基本使用方法,并能在实际工作中应用这些技术...

    solr介绍及使用.docx

    在 Solr 中,索引数据是通过索引器(Indexer)完成的,可以使用 Solr 的 API 或命令行工具批量导入数据。索引数据后,用户可以通过 Solr 的查询接口执行搜索,查询语句可以包含各种条件、过滤器和排序规则,实现复杂...

    solr-4.9.0-安装部署文档

    【Solr 4.9.0 安装部署详解】 Apache Solr 是一款基于 Lucene ...同时,保持 Solr 服务器的安全性,例如限制访问权限和设置防火墙规则。在生产环境中,你可能还需要考虑集群化、备份恢复策略以及性能优化等高级话题。

    windows版本的单机solr

    这些核心具有预配置的字段和处理规则,可以帮助你快速理解Solr的工作方式。你可以根据需要创建自己的核心,定义字段类型和配置,以适应你的数据模型。 为了向Solr添加数据,你可以使用HTTP POST请求将JSON、XML或...

    apache-tomcat-8.5.45_solr.zip

    Apache Solr是一个流行的开源搜索引擎,它提供了全文搜索、命中高亮、拼写建议等功能,广泛应用于网站、...进一步的定制和优化,如调整配置、创建新的索引核心、配置数据导入等,可以通过Solr的管理和配置文件进行。

Global site tag (gtag.js) - Google Analytics