`

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

阅读更多

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

 

1、分片分配

           包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:

           设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索引时将index.routing.allocation.include.tag属性设置为value1和value2后,我们将会创建一个只部署在节点1和节点2的索引。命令如下:

 

[html] view plaincopy
 
  1. curl -XPUT localhost:9200/test/_settings -d '{  
  2.     "index.routing.allocation.include.tag" : "value1,value2"  
  3. }'  

 

             如果不想将索引添加到上述两个节点上,可以使用index.routing.allocation.exclude.tag属性。如下:

 

[html] view plaincopy
 
  1. curl -XPUT localhost:9200/test/_settings -d '{  
  2.     "index.routing.allocation.exclude.tag" : "value1,value2"  
  3. }'  

 

             index.routing.allocation.require.*用于指定几个规则,满足这些规则则会被分配到该节点上。

include,exclude和require的值也支持简单的通配符,比如value1*,另外,_ip,_name,_id和_host这些属于特定的属性名称,他们分别匹配节点的IP地址,名称,ID和主机名。以上的索引配置可以使用API进行实时的更新。

 

2、节点分片总数

            index.routing.allocation.total_shards_per_node设置可以控制es节点上每个索引最大能分配的分片个数。该配置可以使用API进行动态更新。 

3、基于磁盘的分片分配

                   (该配置在es1.3.0后才有效)

           Elasticsearch可以根据节点磁盘的使用情况来配置分片分配。该配置默认开启你,可以下面命令进行禁用:

 

[html] view plaincopy
 
  1. curl -XPUT localhost:9200/_cluster/settings -d '{  
  2.     "transient" : {  
  3.         "cluster.routing.allocation.disk.threshold_enabled" : false  
  4.     }  
  5. }'  

           Elasticsearch使用两个配置参数决定分片是否能存放到某个节点上。

cluster.routing.allocation.disk.watermark.low控制磁盘使用的低水位。默认为85%,意味着如果节点磁盘使用超过85%,则ES不允许在分配新的分片。当配置具体的大小如100MB时,表示如果磁盘空间小于100MB不允许分配分片。

cluster.routing.allocation.disk.watermark.high控制磁盘使用的高水位。默认为90%,意味着如果磁盘空间使用高于90%时,ES将尝试分配分片到其他节点。

         上述两个配置可以使用API动态更新,ES每隔30s获取一次磁盘的使用信息,该值可以通过cluster.info.update.interval来设置。

参考:http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-allocation.html

 

from http://blog.csdn.net/changong28/article/details/38393021

分享到:
评论

相关推荐

    elasticsearch-7.0.0-linux-x86_64.tar.gz

    - **分片(Shard)**:索引被分割成多个分片,可以分布到不同的节点上,提高检索效率。 - **副本(Replica)**:每个分片都可以有副本,用于提高数据可用性和容错性。 2. **安装与启动** - 下载`elasticsearch-7.0.0...

    最新版windows elasticsearch-8.1.1-windows-x86_64.zip

    - **分片(Shard)**:索引被分成多个分片,可以分布在不同节点上,提高可伸缩性和性能。 - **副本(Replica)**:分片的备份,用于提高可用性和故障恢复。 2. **安装与配置**: - 解压“elasticsearch-8.1.1-...

    elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0

    因此,理解并合理利用Elasticsearch的索引策略、分片和副本设置,以及查询优化技术,对于提升整体性能至关重要。 总的来说,elasticsearch-analysis-pinyin-7.4.0为Elasticsearch带来了强大的中文拼音分词功能,极...

    elasticsearch-7.1.0-windows-x86_64.zip

    - **分片(Shard)**:为了实现分布式存储,索引被分成多个分片,可以在不同节点上分布。 - **副本(Replica)**:分片的备份,提高系统的容错性和读取性能。 2. **安装与配置**: - 解压"elasticsearch-7.1.0...

    elasticsearch-analysis-ik-7.10.0.zip下载

    "elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件,它的主要功能是提供高效、精准的中文分词能力,使得Elasticsearch能够更好地理解和处理中文文本数据。 在Elasticsearch 7.10.0版本中,...

    elasticsearch-7.4.2-linux-x86_64.tar.gz.zip

    - 分片(Shard):每个索引可以被分成多个分片,分布在不同的节点上,实现水平扩展。 - 复制分片(Replica Shard):为了提高可用性和容错性,每个分片可以有多个副本。 在实际应用中,Elasticsearch广泛应用于日志...

    elasticsearch-7.6.1-darwin-x86_64.tar.gz

    - **分片(Shard)**:为了实现水平扩展,Elasticsearch 将索引分成多个分片,分布在不同节点上。 - **副本(Replica)**:分片的备份,用于提高可用性和容错性。 2. **安装与启动**: - 解压:使用 `tar -zxvf ...

    最新版 elasticsearch-analysis-ik-8.7.0.zip

    最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip

    elasticsearch-analysis-ik-7.10.2.zip

    Elasticsearch(ES)作为一个开源的全文搜索引擎,因其强大的搜索功能和分布式特性而备受青睐。然而,对于中文这种复杂的语言,分词是搜索引擎理解文本的关键步骤。本文将详细介绍elasticsearch-analysis-ik-7.10.2...

    elasticsearch-bulk-insert-plugin-8.2.0.0-342.zip

    2. 分片分配策略优化:为了提高性能和可扩展性,7.x版本对分片的分配策略进行了调整。 3. 删除了`_type`字段:在7.x中,`_type`作为索引级别概念被移除,这可能需要插件进行相应的调整以适应新的数据模型。 4. 更...

    elasticsearch-head-chrome-master.zip

    - **索引管理**:直观展示索引列表,支持创建、删除索引,以及查看索引设置和分片分布。 - **文档操作**:提供搜索、查看、编辑和删除单个文档的功能。 - **映射查看**:显示索引的字段映射,有助于理解数据结构和...

    elasticsearch-analysis-ik-7.12.1

    **Elasticsearch 分析插件 IK Analysis** **一、IK Analysis 概述** IK Analysis(全称:Intelligent Chinese Analysis)是针对 Elasticsearch 的一个强大且成熟的中文分词插件,专为处理中文文本分析而设计。它...

    elasticsearch-analysis-ik-7.16.3.zip

    在现代大数据分析和搜索引擎领域,Elasticsearch(ES)因其高效、灵活的全文检索能力而备受青睐。然而,对于中文这样的多字节语言,如何准确地进行分词是关键。这时,我们就需要引入专门的中文分词器。本文将详细...

    最新版linux elasticsearch-8.1.3-linux-x86_64.tar.gz

    - **分片(Shard)**:为了实现水平扩展,Elasticsearch将索引分割为多个分片,每个分片可以分布在不同的节点上。 - **副本(Replica)**:每个分片都可以有多个副本,提高数据冗余性和系统容错性。 2. **安装与配置*...

    elasticsearch-7.4.2-linux-x86_64.tar.gz

    - modules 目录:包含了 Elasticsearch 内置的一些模块,如 ingest、reindex 等。 - plugins 目录:如果已安装插件,这里会有对应插件的文件。 部署和使用 Elasticsearch 7.4.2 版本,你需要配置环境变量,设置合适...

    最新版 elasticsearch-analysis-ik-7.6.2.zip

    Elasticsearch 是一款高度可扩展的开源全文搜索引擎,它提供了实时、分布式的搜索和分析功能。在处理中文文档时,我们需要一个能够理解中文语言的分词器,这就是IK(Intelligent Chinese)分析器的用武之地。...

    elasticsearch-analysis-ik-7.4.2.zip.7z

    elasticsearch-analysis-ik就是这样一个插件,它是针对Elasticsearch的最流行的中文分词器之一,旨在提供高效、准确的中文分词服务。 elasticsearch-analysis-ik插件由IK Analyzer团队开发,IK即...

    elasticsearch插件delete-by-query

    - 大规模删除可能导致索引分片的不平衡,需要适时进行`_shrink`或`_reindex`操作来优化索引结构。 - 如果删除操作涉及大量数据,可能会对集群性能产生影响,建议在低峰时段进行。 通过以上介绍,你应该对Elastic...

    elasticsearch-analysis-dynamic-synonym-7.12.1.zip

    5. **analysis-common-7.10.2.jar**:这是Elasticsearch的分析模块,包含了各种文本分析器和过滤器,同义词插件可能依赖于这个库来实现其功能。 6. **commons-codec-1.11.jar** 和 **commons-logging-1.2.jar**:...

    elasticsearch-analysis-dynamic-synonym-7.6.2

    总的来说,`elasticsearch-analysis-dynamic-synonym-7.6.2`插件是ES7.6.2版本中实现动态同义词功能的重要工具,它通过高效的数据处理和灵活的API,让同义词管理变得更加便捷,极大地提升了ES在实际业务中的应用效果...

Global site tag (gtag.js) - Google Analytics