Elasticsearch模块功能之-索引分片分配(Index shard allocation)
1、分片分配
包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:
设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索引时将index.routing.allocation.include.tag属性设置为value1和value2后,我们将会创建一个只部署在节点1和节点2的索引。命令如下:
- curl -XPUT localhost:9200/test/_settings -d '{
- "index.routing.allocation.include.tag" : "value1,value2"
- }'
如果不想将索引添加到上述两个节点上,可以使用index.routing.allocation.exclude.tag属性。如下:
- curl -XPUT localhost:9200/test/_settings -d '{
- "index.routing.allocation.exclude.tag" : "value1,value2"
- }'
index.routing.allocation.require.*用于指定几个规则,满足这些规则则会被分配到该节点上。
include,exclude和require的值也支持简单的通配符,比如value1*,另外,_ip,_name,_id和_host这些属于特定的属性名称,他们分别匹配节点的IP地址,名称,ID和主机名。以上的索引配置可以使用API进行实时的更新。
2、节点分片总数
index.routing.allocation.total_shards_per_node
设置可以控制es节点上每个索引最大能分配的分片个数。该配置可以使用API进行动态更新。
3、基于磁盘的分片分配
(该配置在es1.3.0后才有效)
Elasticsearch可以根据节点磁盘的使用情况来配置分片分配。该配置默认开启你,可以下面命令进行禁用:
- curl -XPUT localhost:9200/_cluster/settings -d '{
- "transient" : {
- "cluster.routing.allocation.disk.threshold_enabled" : false
- }
- }'
Elasticsearch使用两个配置参数决定分片是否能存放到某个节点上。
cluster.routing.allocation.disk.watermark.low:控制磁盘使用的低水位。默认为85%,意味着如果节点磁盘使用超过85%,则ES不允许在分配新的分片。当配置具体的大小如100MB时,表示如果磁盘空间小于100MB不允许分配分片。
cluster.routing.allocation.disk.watermark.high:控制磁盘使用的高水位。默认为90%,意味着如果磁盘空间使用高于90%时,ES将尝试分配分片到其他节点。
上述两个配置可以使用API动态更新,ES每隔30s获取一次磁盘的使用信息,该值可以通过cluster.info.update.interval来设置。
参考:http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-allocation.html
from http://blog.csdn.net/changong28/article/details/38393021
相关推荐
适用于7.17.1系列,例如Elasticsearch的7.17.12版本。 elasticsearch-analysis-ik 是一个常用的中文分词器,在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个...
- **分片(Shard)**:索引被分割成多个分片,可以分布到不同的节点上,提高检索效率。 - **副本(Replica)**:每个分片都可以有副本,用于提高数据可用性和容错性。 2. **安装与启动** - 下载`elasticsearch-7.0.0...
- **分片(Shard)**:索引被分成多个分片,可以分布在不同节点上,提高可伸缩性和性能。 - **副本(Replica)**:分片的备份,用于提高可用性和故障恢复。 2. **安装与配置**: - 解压“elasticsearch-8.1.1-...
- **分片(Shard)**:为了实现分布式存储,索引被分成多个分片,可以在不同节点上分布。 - **副本(Replica)**:分片的备份,提高系统的容错性和读取性能。 2. **安装与配置**: - 解压"elasticsearch-7.1.0...
"elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件,它的主要功能是提供高效、精准的中文分词能力,使得Elasticsearch能够更好地理解和处理中文文本数据。 在Elasticsearch 7.10.0版本中,...
因此,理解并合理利用Elasticsearch的索引策略、分片和副本设置,以及查询优化技术,对于提升整体性能至关重要。 总的来说,elasticsearch-analysis-pinyin-7.4.0为Elasticsearch带来了强大的中文拼音分词功能,极...
最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip最新版 elasticsearch-analysis-ik-8.7.0.zip
- 分片(Shard):每个索引可以被分成多个分片,分布在不同的节点上,实现水平扩展。 - 复制分片(Replica Shard):为了提高可用性和容错性,每个分片可以有多个副本。 在实际应用中,Elasticsearch广泛应用于日志...
- **分片(Shard)**:为了实现水平扩展,Elasticsearch将索引分割为多个分片,每个分片可以分布在不同的节点上。 - **副本(Replica)**:每个分片都可以有多个副本,提高数据冗余性和系统容错性。 2. **安装与配置*...
总的来说,`elasticsearch-analysis-dynamic-synonym-7.6.2`插件是ES7.6.2版本中实现动态同义词功能的重要工具,它通过高效的数据处理和灵活的API,让同义词管理变得更加便捷,极大地提升了ES在实际业务中的应用效果...
Elasticsearch(ES)作为一个开源的全文搜索引擎,因其强大的搜索功能和分布式特性而备受青睐。然而,对于中文这种复杂的语言,分词是搜索引擎理解文本的关键步骤。本文将详细介绍elasticsearch-analysis-ik-7.10.2...
在现代大数据分析和搜索引擎领域,Elasticsearch(ES)因其高效、灵活的全文检索能力而备受青睐。然而,对于中文这样的多字节语言,如何准确地进行分词是关键。这时,我们就需要引入专门的中文分词器。本文将详细...
2. 分片分配策略优化:为了提高性能和可扩展性,7.x版本对分片的分配策略进行了调整。 3. 删除了`_type`字段:在7.x中,`_type`作为索引级别概念被移除,这可能需要插件进行相应的调整以适应新的数据模型。 4. 更...
elasticsearch-analysis-ik就是这样一个插件,它是针对Elasticsearch的最流行的中文分词器之一,旨在提供高效、准确的中文分词服务。 elasticsearch-analysis-ik插件由IK Analyzer团队开发,IK即...
- **索引管理**:直观展示索引列表,支持创建、删除索引,以及查看索引设置和分片分布。 - **文档操作**:提供搜索、查看、编辑和删除单个文档的功能。 - **映射查看**:显示索引的字段映射,有助于理解数据结构和...
**Elasticsearch 分析插件 IK Analysis** **一、IK Analysis 概述** IK Analysis(全称:Intelligent Chinese Analysis)是针对 Elasticsearch 的一个强大且成熟的中文分词插件,专为处理中文文本分析而设计。它...
Elasticsearch 是一款高度可扩展的开源全文搜索引擎,它提供了实时、分布式的搜索和分析功能。在处理中文文档时,我们需要一个能够理解中文语言的分词器,这就是IK(Intelligent Chinese)分析器的用武之地。...
6. **分片(Shard)**:索引可以被分成多个分片,分片是Elasticsearch处理大量数据的方式,允许水平扩展。 7. **副本(Replica)**:每个分片都可以有副本,用于提高数据冗余和故障恢复。 **Elasticsearch 7.14.2 版本...
在6.8.0版本中,Elasticsearch 提供了强大的索引管理和查询功能,支持多种数据类型,如文本、数值、日期等。此版本对性能进行了优化,增强了稳定性,并修复了一些已知问题。它还支持多租户,允许在一个集群中管理多...
- modules 目录:包含了 Elasticsearch 内置的一些模块,如 ingest、reindex 等。 - plugins 目录:如果已安装插件,这里会有对应插件的文件。 部署和使用 Elasticsearch 7.4.2 版本,你需要配置环境变量,设置合适...