`
weitao1026
  • 浏览: 1061296 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Elasticsearch到底能玩多大的数据量

 
阅读更多

单独看ES能玩多大数据意义不大,具体实践中往往因为各种业务要求而无法继续增加数据量。目大的方面考虑有如下几点:

1、查询速度。ES可以支持的查询类型多种多样,单一的term匹配,复杂的historm agg,甚至父子文档模式下bool查询之后继续做文本高亮,数据量越大查询时间越长。如果只是简单的把数据写进去然后按照ID获取数据,那就尽管往里面写数据吧。

2、写入速度。数据量越大,写入速度受影响的可能性越大。业务要求1小时的数据1小时内必须写完,如果做不到就得考虑分索引或者分集群了。

3、更新速度。同上,更新比单纯的写入操作更多,先get再merge再overwrite到es。

4、其他因素。

目前我遇到的ES集群,有1.5T-2T索引量的情况下,需要支持平均查询在500ms以内的高并发高亮查询。在我们的场景下这个量级不算小了。

 

目前我们项目中用的32个节点,数据是目前只是TB级别的,偶尔会出现问题,一般是因为网络的原因,导致节点链接不正常,其他没有发现什么异常

 

Netflex 去年的公开数据 说 已经超过一共 超过 2000 个 nodes,当然是多个集群。 我个人很少听说公司 in production 真的用了很多nodes
补充公开的use case :
elastic.co/use-cases

 

 

分享到:
评论

相关推荐

    ElasticSearch数据导出

    ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件

    ES查询客户端,elasticsearch可视化工具 elasticsearch查询客户端

    **Elasticsearch查询客户端与可视化工具** Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于数据检索、分析...正确选择和使用这些工具,能帮助开发者更好地管理和利用存储在Elasticsearch中的海量数据。

    02-Elasticsearch AI 大模型搜索引擎介绍与演示 meetup 成都 8.19 2023

    Elasticsearch AI 大模型搜索引擎介绍与演示 Elasticsearch AI 大模型搜索引擎是基于人工...Elasticsearch AI 大模型搜索引擎的技术架构和应用前景都非常广泛和深入,这将为开发人员和企业提供了更多的可能和选择。

    elasticsearch 8.11.3 windows安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    elasticsearch windows 7.10.0 解压安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    ArcGIS桌面工具--矢量数据导入elasticsearch

    在导入过程中,可能需要调整Elasticsearch的设置,如分片数量、副本数量、映射配置等,以适应大数据量的导入,并确保查询性能。 通过以上步骤,我们可以实现从ArcGIS Shapefile到Elasticsearch的有效迁移。这样的...

    elasticsearch数据结构设计文档

    Elasticsearch(以下简称 ES)是一种基于 Lucene 的开源搜索引擎,广泛应用于大数据时代的搜索、日志分析和数据集成等领域。下面是基于给定的文件信息,生成的相关知识点。 一、ES 索引结构设计 ES 索引结构设计是...

    elasticsearch windows 7.17.16 解压安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    Elasticsearch 开发手册

    Elasticsearch 能很方便地用于对大量数据进行搜索和分析,充分利用 Elasticsearch 的水平伸缩性,能够使数据在生产环境中变得更富有价值。 Elasticsearch 的主要应用场景包括: * 网站搜索、代码搜索等 * 日志管理...

    Elasticsearch官方提供数据案例account.json

    Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎,它允许用户快速地存储、搜索和分析大量数据。在这个案例中,"account.json"是Elasticsearch官方提供的一个示例数据集,旨在帮助用户了解如何在Elastic...

    elasticsearch 7.17.16 linux 解压安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    elasticsearch-8.5.0.jar

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    Windows版本(8.11)ElasticSearch、elasticsearch-head、kibana、IK分词

    在Windows平台上部署Elasticsearch,用户可以利用其强大的搜索和分析功能来处理大量数据。8.11版本带来了性能优化和新特性,确保在Windows环境下提供更稳定、高效的运行。 **安装与配置** 1. **下载与解压**: 首先...

    Elasticsearch测试数据,3160条商品数据

    Elasticsearch测试数据,3160条商品数据 数据导入命令: curl -XPOST 'localhost:9200/pditems/_bulk' -H 'Content-Type:application/json' --data-binary @pditems.json

    项目实战——Spark将Hive表的数据写入ElasticSearch(Java版本)

    在本项目实战中,我们将探讨如何使用Java编程语言,结合Spark和Hive,将Hive中的数据高效地导入到ElasticSearch(ES)中,并利用ES的别名机制实现数据更新的平滑过渡。以下是对这个流程的详细解析: 1. **Hive数据...

    Oracle数据批量导入elasticsearch脚本

    Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。

    Elastic Search搭建使用教程.pdf(内含ElasticSearch教程权威指南)

    Elasticsearch是一款基于Lucene的开源搜索引擎,它使用RESTful接口进行数据操作,数据以JSON格式存储。Elasticsearch以其高效的全文搜索功能,实时数据处理能力,以及易于使用的特性,在众多企业中得到了广泛应用,...

    elasticsearch-8.11.3-linux-x86-64.tar.gz.zip

    Elasticsearch是一个强大的开源搜索引擎和分析引擎,广泛应用于大数据处理、日志分析、实时搜索等领域。这个"elasticsearch-8.11.3-linux-x86-64.tar.gz.zip"文件是Elasticsearch的8.11.3版本,专门为Linux x86_64...

    elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0

    Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下,由于汉字的复杂性,分词是实现有效搜索的关键步骤。为此,...

    elasticsearch6.6.0 aarch64 arm

    3. **流式数据处理**:支持实时数据流处理,可以连续地将大量数据导入Elasticsearch,无需预先加载整个数据集,非常适合日志分析和实时监控场景。 4. **增强的聚合功能**:提供了丰富的聚合计算选项,如平均值、...

Global site tag (gtag.js) - Google Analytics