`

Solr: realtime ingest data from mysql to solr using flume

    博客分类:
  • Solr
 
阅读更多

 

 

 

 

 

 

• Create an easy ETL job to load data from MySQL to Hadoop and vice versa (using Apache Flume and other tools)
• Create a near-real-time replication channel between MySQL and Hadoop (using a MySQL replication API and Flume)

 

 

References

http://mvnrepository.com/artifact/org.apache.flume.flume-ng-sinks/flume-ng-morphline-solr-sink/1.5.2#mvn

https://cwiki.apache.org/confluence/display/FLUME/How+to+Setup+Solr+Sink+for+Flume

https://github.com/mvalleavila/flume-ng-sql-source

http://dev.mysql.com/tech-resources/articles/mysql-hadoop-applier.html

http://dev.mysql.com/doc/refman/5.0/en/mysqlbinlog.html

 https://github.com/Flipkart/MySQL-replication-listener

 http://code.google.com/p/open-replicator/

https://github.com/whitesock/open-replicator

http://intuitive-search.blogspot.com/2011/07/binary-log-api-and-replication-listener.html

https://launchpad.net/mysql-replication-listener

https://bitbucket.org/winebarrel/mysql-replication-listener

 

http://www.prosysopc.com/blog/hadoop-hive-integration-with-opc-ua/

https://docs.continuent.com/tungsten-replicator-3.0/deployment-hadoop.html

 

http://blog.andreamostosi.name/tag/apache-hadoop/

http://www.jb51.net/article/53542.htm

 

http://dev.mysql.com/doc/internals/en/binary-log.html

分享到:
评论

相关推荐

    Flume+Solr演示demo.pdf

    根据给定文件信息,以下是关于Flume+Solr演示demo的知识点分析: ### Flume+Solr集成概念 #### Flume Flume是一种分布式、可靠且可用的系统,用于有效地从多个源收集、聚合和移动大量日志数据。它的主要特点包括...

    node-solr:Node.js 的 Solr 模块

    Node.js 的 Solr 模块参考Node.js: : Solr: : 使用npm test运行测试。 如果您没有在 127.0.0.1:8983 上运行 Solr,请编辑“test/common.js”。使用示例请参阅使用测试。 这是一个快速示例: var solr = require ( ...

    Linux上Solr的启动方式

    使用Solr内置的Jetty服务器启动Solr (1)借助X Shell上传solr的安装包到/usr/local/目录下,使用 tar -zxvf命令进行解压.  (2)使用内置的Jetty来启动Solr服务器只需要在example目录下,执行start.jar程序即可,...

    spring-data-solr:Spring Data-Apache Solr集成

    提供自己的可扩展MappingSolrConverter作为DocumentObjectBinder替代品,Apache Solr可以使用Spring Data处理继承以及自定义类型(如Point或DateTime用法 特征 具有多核支持的高级存储库抽象 增强,方面和突出显示的...

    puppet-ispconfig_solr:在 IspConfig 环境中使用的 solr 包装器

    == 定义:ispconfig_solr::instance 这个定义是 solr::instance 的包装器。 它创建一个 solr 实例并配置它以在 IspConfig 环境中使用 == 参数: [ instance_name ] solr 实例的名称。 实例将被称为 solr-$...

    spring-data-solr:通过spring对solr数据的增删该查,进行封装

    **Spring Data Solr:通过Spring对Solr数据的增删改查封装** Spring Data Solr是Spring Data项目的一部分,它为Apache Solr搜索引擎提供了一种简单而强大的集成方式。Spring Data Solr允许开发者利用Spring框架的...

    solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包

    2. 配置Solr的`data-config.xml`文件,指定数据源、数据表、查询语句以及字段映射。 3. 如果需要认证,要在配置文件中添加数据库连接的用户名和密码。 4. 启动定时任务,设置同步频率,这可能涉及到修改Solr的配置...

    Spring Data for Apache Solr API(Spring Data for Apache Solr 开发文档).CHM

    Spring Data for Apache Solr API。 Spring Data for Apache Solr 开发文档

    solr:Allegro Common Lisp与Solr的接口

    (push #p"path/to/solr/source/directory" asdf:*central-registry*)(asdf:load-system :solr)访问数据库Solr服务器应该正在运行。 要访问服务器,您需要使用端点url创建一个solr实例。 例如,如果服务器在...

    docker-solr:用于Solr的Docker构建,用于管理官方Docker Hub solr映像

    什么是Apache Solr:trade_mark:? Apache Solr具有高度的可靠性,可扩展性和容错性,可提供分布式索引,复制和负载平衡查询,自动故障转移和恢复,集中式配置等。 Solr为许多世界上最大的互联网站点提供搜索和导航...

    solr7.4数据库导入Demo(mysql数据库)

    -- Define fields mapping from database columns to Solr fields --> <!-- Add more fields as needed --> </dataConfig> ``` 完成配置后,启动Solr服务器,通过Solr的管理界面(默认在`...

    solr-dataimport-scheduler.jar 可使用于solr7.x版本

    Solr 数据导入调度器(solr-dataimport-scheduler.jar)是一个专门为Apache Solr 7.x版本设计的组件,用于实现数据的定期索引更新。在理解这个知识点之前,我们需要先了解Solr的基本概念以及数据导入处理...

    solr -8.11.1.zip 文件

    solr -8.11.1.zip 文件

    solr4.7服务搭建

    ### Solr 4.7 服务搭建详细指南 #### 一、环境准备 为了搭建 Solr 4.7 服务,我们需要确保以下环境已经准备好: 1. **Java Development Kit (JDK) 1.7**:Solr 需要 Java 运行环境支持,这里我们选择 JDK 1.7 ...

    Solr3.6用DIH组件进行MySQL数据库全文索引[参照].pdf

    在Solr中,DataImportHandler(DIH)组件是一个强大的工具,用于从各种外部数据源,如关系型数据库(如MySQL)中导入数据并建立全文索引。在本例中,我们将探讨如何使用Solr 3.6版本的DIH组件来对MySQL数据库中的...

    data_solr:CreateIndexBySolr

    本项目"**data_solr:CreateIndexBySolr**"聚焦于如何使用Solr的Java客户端库SolrJ来创建索引,并进行搜索操作。我们将深入探讨这个过程中的关键概念和技术细节。 首先,让我们了解**Solr**的基本概念。Solr是基于...

    java8看不到源码-ansible-role-solr:yauh.solr-用于设置Solr的Ansible角色

    看不到源码Solr 引导程序 设置 Solr 搜索平台的 Ansible 角色 要求 系统上需要有Java,推荐角色yauh.java8。 角色变量 以下变量可与 solr 角色一起使用: solr_source: http://apache.openmirror.de/lucene/solr # ...

Global site tag (gtag.js) - Google Analytics