`
gxq926
  • 浏览: 8308 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

elasticsearch批量索引数据

 
阅读更多
接触solr不久发现与其同级别的elasticsearch最近很火,自己安装测试后,感觉比solr好用,至少不像solr那么多配置(初级认识)。接触elasticsearch就不得不研究建索引的问题,现在各方面的数据量都在不断增长,所以对elasticsearch批量索引,是很有用的。
以下批量索引代码:
Settings settings=ImmutableSettings.settingsBuilder()
		.put("client.transport.sniff",true).put("cluster.name","myelasticsearch").build();
//设置客户端连接transport
		Client client=new TransportClient(settings).addTransportAddress(
				new InetSocketTransportAddress("192.168.1.100",9300));
//建立批量提交类
BulkRequestBuilder bulkRequest=client.prepareBulk();
				while(rs.next()){
//建立批量json对象
					bulkRequest.add(client.prepareIndex("ryxx","tweet",rs.getString("id")).setSource(jsonBuilder().startObject()
														.field("name",rs.getString("name"))
							.field("age",rs.getString("age"))
							.field("address",rs.getString("address"))
							.field("phone",rs.getString("phone"))
							.endObject()
					));
				}
//批量提交到服务器
				BulkResponse bulkResponse=bulkRequest.execute().actionGet();
//提交过程是否产生错误
				if(bulkResponse.hasFailures()){
					System.out.println(bulkResponse.buildFailureMessage());
					
				}

提交数据的速度跟查询数据库的速度、机器配置等有关,如果是集群的话还跟网络带宽相关。另外我设置:index.number_of_shards:5 即5个分片 index.number_of_replics:1 即每个分片有一份备份
分享到:
评论

相关推荐

    curl.rar ElasticSearch 批量导入一批数据

    批量导入数据是ElasticSearch日常运维中的常见任务,可以极大地提高数据处理效率。在这个场景中,我们使用了一个名为`curl`的命令行工具来完成批量导入。`curl`是一个用于传输数据的工具,支持多种协议,包括HTTP、...

    Elasticsearch数据导出工具

    Elasticsearch数据导出工具是一种高效实用的解决方案,它允许用户方便地从Elasticsearch(ES)集群中抽取数据,并将其导出到不同的目标,如MySQL数据库或本地文件系统。这款工具尤其适用于需要进行数据迁移、备份或...

    springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里

    Elasticsearch则是一款强大的分布式搜索引擎,适用于海量数据的快速检索。本项目将详细讲解如何利用SpringBoot整合Kafka和Elasticsearch,实现日志的批量拉取和更新。 首先,我们需要在SpringBoot项目中引入相应的...

    ES查询客户端,elasticsearch可视化工具 elasticsearch查询客户端

    Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎,Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...

    批量写入数据到Elasticsearch

    本篇文章将深入探讨如何批量写入数据到Elasticsearch,以及这一过程中的相关知识点。 一、Elasticsearch批量写入原理 Elasticsearch设计了Bulk API,允许用户一次性发送多个索引、创建、更新或删除请求,从而减少...

    Python中elasticsearch插入和更新数据的实现方法

    这个库提供了与Elasticsearch集群交互所需的API,使得开发者可以使用Python语言来执行各种ES操作,包括但不限于索引创建、数据插入、更新、删除以及复杂的查询。 ### 插入数据 在Elasticsearch中插入数据主要通过...

    shell脚本批量删除es索引的方法

    在IT行业中,Elasticsearch(简称ES)是一个广泛使用的分布式搜索引擎,它提供了高效的数据存储、检索和分析功能。然而,随着时间的推移,系统中可能会积累大量的旧索引,这可能导致资源浪费,甚至影响到集群的性能...

    elasticsearch-bulk-insert-plugin.zip

    Elasticsearch-Bulk-Insert-Plugin 是一个专为Kettle设计的插件,主要用于高效地将大量数据批量插入到Elasticsearch(ES)集群中。Elasticsearch是一种流行且功能强大的分布式搜索引擎,常用于大数据分析、日志分析...

    elasticsearch 批量导入导出工具,elasticdump

    为了简化这个过程,社区开发了多种工具,其中"elasticdump"就是一个非常实用的命令行工具,专门用于Elasticsearch的数据批量导入和导出。 **elasticdump** 的主要功能: 1. **数据迁移**:它允许用户将数据从一个...

    Python-同步MongoDB数据到ElasticSearch

    可以使用PyMongo遍历MongoDB集合的所有文档,然后使用Elasticsearch-Helper的bulk()函数将这些文档批量索引到ElasticSearch。 **增量同步** 增量同步是在全量同步之后,仅同步自上次同步以来发生变化的数据。这可以...

    python批量导入数据进Elasticsearch的实例

    需要注意的是,在进行数据导入之前,需要在Elasticsearch中事先创建好相应的索引和映射,否则导入过程中可能会出现错误。此外,在处理数据时,要确保数据格式和类型与Elasticsearch中定义的映射一致,以避免数据丢失...

    python3实现elasticsearch批量更新数据

    在本文中,我们将详细探讨如何使用Python3语言结合Elasticsearch来实现批量更新数据的功能。首先,我们先从整体上把握Elasticsearch的一些基本概念和使用场景,然后再深入到Python实现的细节部分。 Elasticsearch是...

    Elasticsearch示例数据 logs.json

    一旦索引和映射准备好,我们可以使用Elasticsearch的 `_bulk` API 或工具如`elasticsearch-py`(Python客户端)或`curl` 命令批量导入JSON数据。 **数据分析和查询**:Elasticsearch的强大之处在于其丰富的查询和...

    基于.netcore搜索封装ElasticSearch.zip

    2. **创建索引**: 定义数据模型并创建对应的Elasticsearch索引。索引是Elasticsearch中的逻辑存储单元,类似于关系数据库中的表。 3. **序列化与反序列化**: 使用Nest库,对象会被自动转换为JSON格式,发送到...

    elasticsearch-6.8.0+elasticsearch-analysis-ik-6.8.0 .zip

    3. **数据导入**:使用 Elasticsearch 的 Bulk API 或者 Spring Data Elasticsearch 进行批量数据导入。 4. **分词器选择**:选择合适的分词器,如 IK 分词器,为中文文本提供精确的分词服务。 5. **查询接口设计**...

    mysql数据导入elasticsearch并支持SQL查询

    - 同步过程中,为了减少对MySQL和Elasticsearch的影响,可以设置适当的缓冲区和批量大小,以批量处理数据。 - 通过调整Elasticsearch的索引设置,如分片数、副本数、刷新间隔等,以优化查询性能和存储需求。 5. *...

    ES测试数据-手机.rar

    - **bulk ES批量导入**:强调了测试的重点是ES的批量处理能力,这对于大量数据的索引构建和更新至关重要。 - **ES**:这是Elasticsearch的缩写,再次强调主题。 压缩包内的文件名列表提供了关于数据结构的线索: 1...

    elasticsearch7.14.0.zip

    10. **数据导入与查询**:使用Elasticsearch的`_bulk` API进行批量数据导入,可以大大提高效率。查询时,利用JSON格式的请求体,可以构建复杂的查询条件和聚合分析。 以上内容涵盖了Elasticsearch 7.14.0的基本使用...

Global site tag (gtag.js) - Google Analytics