`
netuml
  • 浏览: 1249 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Mongodb 和 Solr 实时同步

阅读更多

 

 大数据搜索 博客上线了

   

一、安装前准备

  1、mongo-connector(基于python)中间件

  2、python-3.4.3.msi

  3、Mongodb  

  4、Solr

二、配置Mongodb集群

  1)、配置replica set

    我的MONGO_HOME为 F:\mongodb

    目录树如下:

    -rs  (d)

    |----db  (d)  mongo数据文件文件存放的目录

      |----rs1  (d)  rs1实例数据文件存放的目录

      |----rs2  (d)  rs2实例数据文件存放的目录

    |----log  (d)  log文件存放的目录

      |----rs1.log  (f)  rs1实例的log文件

      |----rs2.log  (f)  rs2实例的log文件

    |----mongod-rs1.bat  rs1实例的启动脚本

    |----mongod-rs2.bat  rs2实例的启动脚本

    mongod-rs1.bat内容如下:    

    D:\mongodb\bin\mongod --port 27001 --oplogSize 100 --dbpath db\rs1 --logpath log\rs1.log --replSet rs/127.0.0.1:27002 --journal
    pause

    mongod-rs2.bat内容如下:   

    D:\mongodb\bin\mongod --port 27002 --oplogSize 100 --dbpath db\rs2 --logpath log\rs2.log --replSet rs/127.0.0.1:27001 --journal
    pause

 

  2)、执行两个脚本,启动两个mongod实例

 

  3)、但这时它们还没组成一个replica set,还需要进行配置,开启mongo,连上localhost:27001,也就是实例rs1

 

  4)、连接mongo 127.0.0.1:27001 输入

           config={_id:'rs',members;[{_id:0,host:'127.0.0.1:27001'},{_id:1,host:'127.0.0.1:27002'}]}

           rs.initiate(config);

    rs.status();

三、安装python

  1)、pin install mongo-connector

四、启动mongo-connector

  cmd 里输入:python c:\python34\mongo-connector\mongo_connector\connector.py -m localhost:27017 -t http://127.0.0.1:8080/solr/collection1 -d solr_doc_manager

 

 

 大数据搜索 博客上线了

   

    

 

分享到:
评论

相关推荐

    mongodb-solr

    MongoDB和Solr是两种非常重要的开源搜索引擎与数据库系统,它们在大数据管理和搜索领域有着广泛的应用。MongoDB是一个文档型数据库,以灵活的数据模型、高可用性和可扩展性著称,而Solr则是Apache基金会的一个搜索...

    solr-mongo-importer-1.1

    5. **监控和更新**: 一旦数据导入完成,你可以定期运行增量或全量更新,以保持Solr索引与MongoDB数据的同步。MongoDB Importer支持实时或定时的增量导入,确保搜索结果始终是最新的。 6. **优化性能**: 根据数据量...

    solr-mongo-import-1.0和1.1以及mongo-Java-driver

    6. **持续集成**: 如果MongoDB中的数据是实时更新的,可以设置定时任务或监听MongoDB的变更流,以便实时同步新的数据到Solr。 了解了这些基本概念后,你可以根据具体的业务需求来定制数据导入策略,比如选择性地...

    连接 HBASE和MongoDB的驱动程序,配置后可直接导数据。很好用.zip

    - 实时同步:确保两个数据库的数据一致性,例如在一个数据库中进行操作后,立即反映到另一个数据库。 该压缩包中的"SolrMongoImporter-master"可能是一个用于导入MongoDB数据到Solr(一个强大的全文搜索引擎)的...

    mongoconnector

    该工具在MongoDB与目标系统间同步数据,并跟踪MongoDB的oplog,保持操作与MongoDB的实时同步。用于连接MongoDB的插件,搭建的时候,遇到不少阻力,搭建时竟然保证版本的对应性。其次mongo connector的同步效率并不...

    mongo-connector:YouGov提供的MongoDB数据流管道工具(从MongoDB中采用)

    它将MongoDB中的数据同步到目标,然后尾随MongoDB oplog,实时跟踪MongoDB中的操作。 上提供了详细的文档。入门mongo-connector支持Python 3.4+和MongoDB 3.4和3.6版本。安装要使用适合将数据复制到MongoDB的...

    SolrMongoImporter-0.1.jar

    集成了solr自有的solrImpoerterHandle,使用这个jar包,可以从MongoDB同步数据到Solr,需要依赖solr-dataimporthandler-7.4.0以及mongo-java-driver-3.11.2

    solrMongoImporter源码

    此外,可以通过调整源码来实现更复杂的增量策略,如基于MongoDB的OpLog进行实时同步。 六、故障排查与性能调优 在实际使用中,可能遇到连接问题、数据转换错误、性能瓶颈等问题。通过日志分析、代码调试和参数调整...

    高性能分布式搜索引擎Solr的研究与实现.pdf

    在Solr分布式搜索引擎架构中,Zookeeper可以管理集群的状态,协调不同节点的工作,保持索引的一致性和同步。 Mongodb是一个高性能的NoSQL数据库,它支持分布式文件存储。在本文中,SolrCloud(Solr的分布式实现)与...

    同步MySQL数据库增量变化fountain.zip

    任何需要快速、准确接收MySQL数据变化增量的场景均适用,例如广告传输流:输出到本地增量文件数据同步:可数据库同构复制,也可以跨异构数据源sync,比如MySQL到一些NoSQL,例如redis、mongodb,或者es、solr等提供...

    mongo-connector-2.11-2.3.0

    Mongo-Connector是一个强大的工具,用于将MongoDB的数据同步到其他数据存储系统,如Elasticsearch或Solr。在本案例中,我们关注的是版本2.3.0,它专为pyspark2.3.0和Scala2.11构建。这个版本确保了与特定Spark和...

    scrutineer:将经过排序的真值来源与另一种来源进行比较,以找到不匹配的地方。 设计用于验证诸如ElasticSearch和Solr之类的索引是否与其数据源(通常是数据库)同步

    在很多情况下,人们使用Solr / ElasticSearch / Compass对其中央数据库,mongodb,hbase等进行索引,因此索引是数据的辅助存储。 您怎么知道您的索引是否正确? 您是否可以随时重新索引5亿个文档? (这就是外星人...

    java工程师进阶学习资料

    数据库是Java开发中不可或缺的部分,尤其是关系型数据库如MySQL、Oracle和PostgreSQL,以及非关系型数据库如MongoDB、Cassandra等。在Java工程师的进阶学习中,理解SQL语言的基本语法和高级特性至关重要,包括DML...

    02于俊大规模日志数据平台架构面临的问题与挑战.pdf

    除了已经提及的MongoDB、Flume、HDFS、Solr等技术之外,还需考虑如Hadoop生态系统中的其他组件(如HBase、Kafka等),以及其他能够优化处理效率的中间件或框架,比如使用Spark进行大数据处理、使用Flink进行实时数据...

    java架构师是什么?58套java架构师资源870G进阶架构师学习.pdf

    Java架构师需要了解如何设计和优化并发程序,利用Java的并发工具类,如ExecutorService、Semaphore和CountDownLatch,以及深入理解Java内存模型和线程同步机制。 分布式系统是多个独立计算机通过网络连接,共同协作...

    ES分布式搜索解决方案.docx

    **Elasticsearch ...总的来说,Elasticsearch以其分布式、高可扩展性和实时性,成为应对大规模数据检索的理想选择。通过合理的设计和配置,可以有效地解决传统数据库面临的挑战,满足现代大数据环境下的业务需求。

Global site tag (gtag.js) - Google Analytics