`

solr 处理数据库数据索引 DataImportHandler 报内存不足,解决方案

阅读更多

       通过数据库,批量建立索引,如果数据量大,则会报内存不足,经过网络搜索,没有找着好的解决办法,在看solr wiki的时候,发现了http://wiki.apache.org/solr/DataImportHandlerFaq这篇说明文档,解决了我的问题,<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:8889/mysqldatabase" batchSize="-1" user="root" password="root"/>

 

batchSize="-1"设置后就可以通过 增量更新把所有数据添加到数据库。http://localhost:8080/solr/dataimport?command=delta-import

 

 

 

更多交流:垂直qq搜索群:55388905

http://www.lsoba.com

分享到:
评论

相关推荐

    solr-dataimporthandler.rar

    Solr DataImportHandler (DIH) 是Apache Solr的一个强大特性,它允许用户从各种数据源导入数据到Solr索引。在给定的压缩包"solr-dataimporthandler.rar"中,包含了两个关键的JAR文件:"solr-dataimporthandler-8.9.0...

    solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包

    总的来说,这个压缩包提供了一套完整的解决方案,帮助用户实现在Solr 7.7.2中定时从MySQL数据库自动同步数据,并且支持基本的身份验证,确保了数据的安全传输和处理。通过正确配置和使用这个工具,你可以构建一个...

    基于solr的网站索引架构(一)

    在本篇博文中,我们将探讨基于Apache Solr构建的网站索引架构,这是搜索引擎技术中的一个关键组件。Solr是一个开源、高性能的全文...通过深入理解和熟练运用Solr,我们可以为网站构建出高性能、可扩展的搜索解决方案。

    solr-dataimportscheduler-1.4.jar 增量定时同步数据到solr.rar

    这个jar包的核心功能是DataImportHandler(DIH),它是一个内置在Solr中的模块,用于将外部数据源(如关系型数据库)的数据导入到Solr索引中。DIH支持全量导入和增量导入,这使得Solr可以保持与数据库的实时同步,...

    solr5.3.1 导入mysql数据

    Solr 5.3.1 是 Apache Solr 的一个版本,它是一个开源的搜索平台,广泛用于企业级的全文检索、数据分析和分布式搜索。Solr 基于 Lucene 库,...通过熟练掌握这些知识,可以有效地利用 Solr 提供的企业级搜索解决方案。

    solr6.5.1定时增量apache-solr-dataimportscheduler

    在实际应用中,Solr DataImportScheduler结合Solr的DIH功能,可以构建出一个高效且实时更新的搜索解决方案,尤其适合于大数据量且频繁更新的场景,如电商网站的商品信息、新闻网站的新闻发布等。 总的来说,Apache ...

    solr定时同步jar包.zip

    Solr DataImportHandler (DIH) 是一个内置的Solr组件,允许用户从关系型数据库或其他数据源导入数据,并将其转化为Solr可以处理的格式。DIH支持全量导入和增量导入两种模式。全量导入会将整个数据源的数据导入到Solr...

    solr-dataimport-scheduler

    数据导入(DataImportHandler, DIH)是Solr的一项功能,允许从各种数据源(如关系型数据库、CSV文件等)导入数据,并创建或更新索引。DIH支持全量导入和增量导入,使得在数据发生变化时,Solr能够快速反映这些变化。...

    solr文档solr文档

    3. **数据导入导出(DIH,DataImportHandler)**:学习如何使用Solr的数据导入工具来导入外部数据库或其他数据源的数据,以便进行全文检索。 4. **Schema设计**:理解Schema.xml文件的重要性,它定义了索引字段、...

    全文搜索技术solr Demo

    "代码.rar"可能包含了一个示例数据导入工具,通常Solr使用DataImportHandler(DIH)从外部数据库导入数据并建立索引。配置好数据源和映射后,运行`bin/post -c myCollection /path/to/data`命令即可导入数据。 六、...

    二十七、商城 - 搜索解决方案-Solr(15)113.youlexuan.zip

    在本课程中,我们将深入探讨如何使用Solr作为商城搜索解决方案。Solr是Apache软件基金会的一个开源全文搜索引擎,被广泛应用于构建高效的、可扩展的搜索应用。它支持丰富的查询语法,能够提供高度自定义的搜索体验,...

    使用lucenesolr搭建Oracle数据库全文搜索服务.docx

    ### 使用Lucene Solr搭建Oracle数据库全文搜索服务 #### 一、基础知识介绍 - **Lucene**: 是一个高性能、全功能的全文检索引擎库。...对于大型数据库而言,利用Solr进行全文搜索是一种高效且实用的解决方案。

    solr4.9.0.zip

    这个版本的Solr提供了一套高度可扩展和高性能的搜索解决方案,支持大量的并发请求和大数据处理。以下是对Solr 4.9.0及其核心特性的详细解释: 1. **快速全文检索**:Solr利用倒排索引技术,实现对文本内容的快速...

    solr搜索引擎的使用介绍

    4. **导入数据**:使用Solr的DataImportHandler(DIH)从数据库或其他数据源导入数据。 5. **查询与优化**:通过Solr提供的RESTful API或Solrj客户端进行查询,根据需求调整索引策略和查询参数。 四、Solr的使用...

    solr解压版安装包

    它是基于Java的,能够高效、灵活地处理大量数据的搜索解决方案,广泛应用于网站、电商、文档检索等多个领域。Solr的核心功能包括索引、搜索、排序、过滤和分页等,它还支持多种数据源的集成,如数据库、文件系统和...

    solr+tomcat处理后的简易部署+说明文档(上)

    它支持多种数据类型,如文本、数字、日期等,并且可以处理大量数据,是企业级搜索解决方案的首选。 Tomcat,另一方面,是Apache Tomcat服务器,一个开源的Java Servlet容器,广泛用于部署Java Web应用程序。它轻量...

    apache-solr-dataimportscheduler

    DataImportScheduler 插件的工作原理是通过 Solr 的 DataImportHandler (DIH) 实现的,DIH 是 Solr 内置的一种机制,用于从关系型数据库或其他结构化数据源导入数据并建立索引。通过 DataImportScheduler,你可以...

    solr定时增量更新jar包1.4

    它扩展了Solr的数据导入处理(DataImportHandler, DIH)功能,DIH是一个强大的工具,允许Solr从各种数据源(如关系型数据库、文件系统等)导入数据并建立索引。而DataImportScheduler则在此基础上增加了定时任务的功能...

    solr全文检索

    下面将详细介绍Solr的环境搭建、配置文件、数据库索引创建、文档索引创建、索引管理和全文查询等内容。 1. **Solr环境搭建** 在开始使用Solr之前,你需要先下载最新版本的Solr压缩包,然后解压到本地目录。接下来...

    solr6.1.0安装包

    4. **数据导入导出(DIH,DataImportHandler)**:Solr6.1.0支持从数据库等外部源导入数据,通过data-config.xml配置文件设置数据源和映射规则。 5. **Cloud模式**:Solr6.1.0支持SolrCloud模式,这是一个分布式...

Global site tag (gtag.js) - Google Analytics