我用elasticsearch-river-jdbc添加了一个mysql的数据源。代码如下:
curl -XPUT 'localhost:9200/_river/bankinfo/_meta' -d '{
"strategy" : "simple",
"interval" : 0,
"flush_interval" : "5s",
"type" : "jdbc",
"jdbc": {
"driver": "com.mysql.jdbc.Driver",
"url": "jdbc:mysql://192.168.1.91:3306/game",
"user": "root",
"password": "111",
"sql": "select * from bank_info",
"interval":"1800",(秒)
"index" : "bank_info_db",
"type" : "bank_info_table"
}
}'
现在的问题是,每隔半个小时去同步一次数据,但是新同步过来的数据是累加到bankinfo索引中的,但这并不是我想要的效果啊,我希望的是如果我的MYSQL库其中一条数据发生了update事件,那么在同步的时候只更新这条发生了变化的数据。不知道该怎么处理。希望各位大神帮看下。谢谢了。
-
Elasticsearch使用elasticsearch-river-jdbc插件操作Mysql遇到的问题。5
2014年10月27日 09:58
相关推荐
Elasticsearch-JDBC是Elasticsearch官方提供的一个插件,它允许Elasticsearch从任何支持JDBC的数据源(如MySQL)中导入数据。版本号"2.3.3.0"代表了这个插件的一个稳定发布,提供了丰富的功能和优化的性能。 在...
Elasticsearch-JDBC是Elasticsearch的一个插件,主要用于将数据从关系型数据库(如MySQL、Oracle等)导入到Elasticsearch中,实现数据的实时同步。2.2.0.0是该插件的一个版本号,这通常代表了在那个特定时间点的稳定...
Elasticsearch-JDBC是Elasticsearch的一个插件,主要用于将数据从关系型数据库(如MySQL、Oracle等)导入到Elasticsearch中,实现数据的实时同步。2.2.0.0是该插件的一个版本号,代表着在该版本中包含了一些特定的...
然而,数据往往存储在关系型数据库如MySQL中,为了实现数据的实时或者定期同步到Elasticsearch,Elasticsearch-jdbc插件应运而生。本文将详细介绍如何配置Elasticsearch-jdbc进行数据同步。 **1. Elasticsearch-...
Elasticsearch-JDBC是一款强大的工具,它允许我们将关系型数据库中的数据实时或定期同步到Elasticsearch中,以便进行高效的数据检索和分析。这个工具基于JDBC(Java Database Connectivity),可以连接各种支持JDBC...
本文档将详细介绍如何使用Elasticsearch的River插件来实现MySQL数据到Elasticsearch的实时同步。 #### 二、River概念解析 ##### 1. River定义 River是Elasticsearch中的一个数据源概念,它是一种将外部数据源...
在具体实现过程中,我们可以使用诸如JDBC River(已被废弃)或Logstash,甚至是自定义的监听器来监听MySQL的 binlog,一旦数据发生变化,就将变更写入Elasticsearch。另一种常见的方式是使用阿里开源的Canal,它能够...
JDBC River是Elasticsearch的一个插件,用于从关系型数据库(如MySQL)中导入数据到Elasticsearch。它通过定时执行SQL查询,将结果同步到ES索引中,实现数据的实时更新。在Linux环境下,可以通过运行`mysql-simple-...
弹性搜索对各种 Raxa 后端资源(包括患者、人员、遭遇、观察等)...MySQL JDBC connector (for indexing)安装所需软件 (Ubuntu)安装 Elasticsearch 服务器可以从官网获取最新版本的ES ,或者使用以下命令安装: wget ...
为了保持两者数据的一致性,通常会采用数据复制或数据流的方式,例如使用Logstash、JDBC River(已废弃)、阿里云DataHub或者自定义脚本来定时读取MySQL的变更并更新到Elasticsearch中。 在描述中提到的“删除...
3. **数据导入工具**:Elasticsearch提供了多种数据导入工具,如Logstash、JDBC River(已废弃)、Beats(Filebeat、Metricbeat等)和Ingest Node。Logstash尤其常用,它可以处理多种格式的数据,并通过管道...
Elasticsearch-JDBC是一个用于将数据导入/导出到Elasticsearch的库,它提供了一种将关系数据库(如MySQL、PostgreSQL等)的数据流式传输到Elasticsearch的方式。虽然这不是标准的查询客户端,但它是数据迁移或集成...
2. **JDBC River插件**:Elasticsearch的JDBC River插件允许从关系型数据库(如MySQL)中导入数据。在若依框架中,可以利用此插件将数据库中的数据实时同步到Elasticsearch索引中,保持搜索数据的实时性。 3. **...
这包括使用Logstash或JDBC River插件来实时同步数据库数据到Elasticsearch。 在Web全栈应用开发中,Elasticsearch作为后端搜索引擎,需要与前端进行交互。本教程会讲解如何利用Kibana,这个强大的可视化工具,展示...