`
df274119386
  • 浏览: 55830 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

solr data import config

    博客分类:
  • solr
阅读更多

solr的dataimporthandler 配置, 全量和增量导入,


<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <dataSource  type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://localhost/postgres" user="xxxxxx" password="xxxxxx" encoding="UTF-8" />
    <document>
	
		 
		<!--deletedPkQuery="select id from table" detetePkQuery这个查询把已经删除的id查询出来,表里面存有已经删除的id-->
        <entity name="users" pk="id" query="select * from users"
                deltaQuery="select id from users where last_modified > '${dataimporter.last_index_time}'"
				deltaImportQuery="select id,name from users where ID=${dataimporter.delta.id}">
			<field column="ID" name="id"/>
            <field column="NAME" name="name" /> 
			<!--一对多配置,-->
			<entity name="userinfo"  pk="id"
					query="select * from USERINFO where userid=${users.id}"
					deltaQuery="select id,userid from USERINFO where last_modified > '${dataimporter.last_index_time}'"
					parentDeltaQuery="select id from USERS where ID=${userinfo.userid}"					
					deltaImportQuery="select info from userinfo where ID=${dataimporter.delta.id}">
				<field name="info" column="info" />
			</entity>
		
					</entity>
    </document>
	
</dataConfig>



附上数据库建表语句

CREATE TABLE users
(
  id integer NOT NULL,
  name character(50),
  last_modified timestamp without time zone,
  CONSTRAINT users_pkey PRIMARY KEY (id)
) 
WITHOUT OIDS;
ALTER TABLE users OWNER TO postgres;


drop table userinfo;
CREATE TABLE userinfo
(
  id integer NOT NULL,
  info character(50),
  userid integer,
  last_modified timestamp without time zone,
  CONSTRAINT userinfo_pkey PRIMARY KEY (id),
  CONSTRAINT userinfo_userid_fkey FOREIGN KEY (userid)
      REFERENCES users (id) MATCH SIMPLE
      ON UPDATE NO ACTION ON DELETE NO ACTION
) 

分享到:
评论

相关推荐

    solr-dataimport-scheduler 的jar包

    Solr 数据导入调度器(Solr DataImport Scheduler)是一个用于Apache Solr的插件,它允许用户定期自动执行数据导入过程。这个jar包是专门为Solr服务器设计的,旨在简化和自动化索引更新流程,确保搜索结果始终保持...

    Solr data import 中XMLHTTP 数据源的使用.docx

    Solr Data Import Handler (DIH) 是 Apache Solr 中一个强大的功能,用于导入和更新来自各种数据源的数据。在处理HTTP中的XML数据时,Solr提供了XML/HTTP数据源,使得能够索引通过HTTP协议获取的RESTful或XML/RSS/...

    支持solr6.1-solr-dataimport-scheduler-1.2.jar

    在 Solr 的生态系统中,`solr-dataimport-scheduler-1.2.jar` 是一个非常重要的组件,它允许用户定时执行数据导入任务,这对于需要定期更新索引的应用场景尤其有用。这个特定的版本 `1.2` 已经被优化以兼容 `Solr ...

    Solr定时更新Solr定时更新

    `dataimport.properties` 文件可能是配置文件,用于设置DIH的相关参数,如数据源连接信息、导入策略、定时任务的频率等。 在配置定时更新时,首先需要在Solr的`solrconfig.xml`配置文件中启用DIH,并定义数据源和...

    solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包

    2. 配置Solr的`data-config.xml`文件,指定数据源、数据表、查询语句以及字段映射。 3. 如果需要认证,要在配置文件中添加数据库连接的用户名和密码。 4. 启动定时任务,设置同步频率,这可能涉及到修改Solr的配置...

    solr-8.2.0.rar

    在管理界面的Core操作中,选择`Dataimport`,然后点击`Execute Full Import`按钮。这将读取`data-config.xml`中的配置,从MySQL中抽取数据并建立索引。 六、测试Solr查询 数据导入完成后,你可以使用Solr的查询接口...

    solr7.4数据库导入Demo(mysql数据库)

    bin/solr dataimport -c your_core --config data-config.xml ``` 接下来,我们将使用IK分词器进行中文分词。IK分词器是专门为中文设计的,它可以更精确地切分词语,提高搜索的准确性。在`solr-7.4.0/server/solr/...

    solr6.0+mysql集成配置

    &lt;requestHandler name="/dataimport" class="solr.DataImportHandler"&gt; &lt;str name="config"&gt;data-config.xml ``` 接着创建 `data-config.xml` 文件,配置数据源和数据实体,如: ```xml &lt;dataConfig&gt; ...

    Solr(Cloudera)使用手册

    &lt;requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"&gt; &lt;str name="config"&gt;data-config.xml ``` 3. **加载DataImportHandler jar包**:确保Solr能够访问...

    apache-solr-dataimportscheduler

    &lt;processor class="org.apache.solr.handler.dataimport.DataImportHandlerRequestProcessorFactory"&gt; &lt;str name="command"&gt;full-import &lt;adminRequestHandler name="/admin/dataimport" /&gt; ...

    windows 下 部署 solr4.4

    &lt;requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"&gt; &lt;str name="config"&gt;db\db-data-config.xml ``` - 在`solr-server\SolrHome\core1\conf`下创建`db`...

    solr-dataimporthandler的jar包

    3. **运行 Full Import**: 使用 Solr 的管理界面或者通过 API 触发 Full Import,Solr 将执行 `data-config.xml` 中定义的指令,将数据导入索引。 4. **增量导入与 delta-import**: 如果数据源有更新,可以使用 ...

    图解Solr6.6.0安装与MySQL配置

    - 将MySQL的JDBC驱动程序和Solr Data Import Handler (DIH) 相关的JAR文件导入到`mycore/lib`目录中。 - MySQL驱动程序可以从官方Maven仓库下载:[http://mvnrepository.com/artifact/mysql/mysql-connector-java]...

    solr开发指南.pdf

    &lt;requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"&gt; &lt;str name="config"&gt;data-config.xml ``` 至此,Solr服务器已经成功搭建并配置了基本的数据导入功能。...

    solr-4.9.0-安装部署文档

    - 配置 Solr 的 Data Import Handler(DIH)以连接 MySQL 数据库,这涉及到修改 Solr 的配置文件,如 managed-schema 或 schema.xml,以及在 Solr 的 DataConfig.xml 中定义数据源和查询语句。 完成以上步骤后,你...

    solr5.4开发环境完整配置

    Solr 提供了一个叫做 Data Import Handler (DIH) 的工具,用于从外部数据源导入数据。创建一个数据配置文件(如 `data-config.xml`),定义数据源和映射规则。然后在 Solr 的管理界面中,选择你的核心,使用 "Data ...

    solr安装部署文档

    3. 打开 server\solr\job\conf 下的 solrconfig.xml 文件,添加以下内容:&lt;requestHandler name="/dataimport" class="solr.DataImportHandler"&gt; &lt;lst name="defaults"&gt; &lt;str name="config"&gt;data-config.xml&lt;/str&gt; ...

Global site tag (gtag.js) - Google Analytics