`
wbj0110
  • 浏览: 1602351 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

分布式搜索elasticsearch几个概念解析

阅读更多

介绍下es的几个概念:
cluster
     代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。


shards
     代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。


replicas
     代表索引副本,es可以设置多个索引的副本,副本的作用一是提高系统的容错性,当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率,es会自动对搜索请求进行负载均衡。


recovery
     代表数据恢复或叫数据重新分布,es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。


river
     代表es的一个数据源,也是其它存储方式(如:数据库)同步数据到es的一个方法。它是以插件方式存在的一个es服务,通过读取river中的数据并把它索引到es中,官方的river有couchDB的,RabbitMQ的,Twitter的,Wikipedia的,river这个功能将会在后面的文件中重点说到。


gateway
     代表es索引的持久化存储方式,es默认是先把索引存放到内存中,当内存满了时再持久化到硬盘。当这个es集群关闭再重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway,有本地文件系统(默认),分布式文件系统,Hadoop的HDFS和amazon的s3云存储服务。


discovery.zen
     代表es的自动发现节点机制,es是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,同时也支持点对点的交互。


Transport
     代表es内部节点或集群与客户端的交互方式,默认内部是使用tcp协议进行交互,同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。

 from internet

分享到:
评论

相关推荐

    Elasticsearch技术研讨_104实用知识库分享

    Elasticsearch 的分布式架构设计主要包括以下几个方面:分布式存储系统、分布式搜索系统、分布式分析系统等。Elasticsearch 的分布式架构设计可以根据实际情况进行调整,以满足不同的业务需求。 三、Elasticsearch ...

    Elasticsearch 是一个开源的分布式搜索和分析引擎,广泛用于实时搜索、日志和指标分析、全文搜索等应用 以下是关于 El

    除了 Elasticsearch 本身之外,Elastic 还提供了其他几个重要的工具,如 Kibana、Logstash 和 Beats,它们共同构成了 Elastic Stack。通过学习整个 Elastic Stack,不仅可以更好地理解各组件之间的协同工作原理,还...

    Elasticsearch 技术解析与实践

    Elasticsearch的安装过程相对简单,主要包括以下几个步骤: 1. **下载与安装**:访问官方网站下载最新版本的Elasticsearch,并按照官方文档中的指引进行安装。 2. **配置文件调整**:通过编辑`elasticsearch.yml`...

    JAVA实现ElasticSearch的简单实例

    Java实现Elasticsearch的简单实例主要涉及以下几个关键知识点: 1. **Elasticsearch基础**:Elasticsearch(ES)是一个开源的、分布式全文搜索引擎,它提供了实时数据分析的能力,广泛用于日志分析、监控、搜索应用...

    elasticsearch常用版本

    标题提及的"elasticsearch常用版本"意味着我们将关注几个Elasticsearch的主流版本,包括elasticsearch-2.4.4、elasticsearch-6.2.3。每个版本都有其特定的特性和改进,适应不同的需求和环境。 1. **Elasticsearch ...

    基于分布式爬虫框架scrapy+elasticsearch+django完成搜索引擎网站.zip

    在这个项目中,我们看到一个利用Scrapy、Elasticsearch和Django构建的分布式搜索引擎网站的实现。这三者都是IT领域中的重要工具,用于数据抓取、存储和展示。 首先,**Scrapy** 是一个强大的Python爬虫框架,用于...

    python分布式爬虫打造搜索引擎

    6. **搜索引擎**:抓取完成后,我们可以使用Elasticsearch或Solr这样的全文搜索引擎建立索引,实现快速查询。同时,可以使用Whoosh、Xapian等本地搜索引擎库,如果数据量较小,也可以直接存储在SQLite或MySQL数据库...

    Elasticsearch学习文档.doc

    Elasticsearch 的实现原理主要分为以下几个步骤:首先用户将数据提交到 Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名...

    elasticsearch 性能测试

    Elasticsearch 是一个分布式、全文检索的搜索引擎,广泛应用于数据分析、日志聚合和实时搜索场景。为了确保系统在高负载下仍能保持高效稳定,性能测试是至关重要的。本篇文章将围绕如何对 Elasticsearch 进行性能...

    ElasticSearch分析与实践

    在介绍Elasticsearch分析与实践之前,我们需要先了解几个核心的概念和组件。 首先,Elasticsearch本身具有分布式实时分析和检索的特点,它能够为数据提供高可用性和多租户支持。它是一个面向文档的搜索引擎,意味着...

    elasticsearch源码

    在深入探讨之前,我们需要知道几个核心概念:分布式、RESTful API、倒排索引以及Lucene。 1. 分布式架构: Elasticsearch的核心特性之一就是其分布式架构。它通过分片(Shards)和副本(Replicas)的概念实现了数据...

    Elasticsearch全观测技术解析与应用.pdf

    - **Elasticsearch**:分布式全文搜索和分析引擎,提供高效的数据存储和检索功能。 - **Kibana**:数据可视化工具,用于创建动态的图表和仪表板。 这些组件共同构成了Elasticstack(原ELK Stack),为用户提供了一...

    elasticsearch-analysis-ik-7.6.1.zip

    Elasticsearch(ES)是一个基于Lucene的分布式、RESTful搜索引擎,广泛应用于大数据分析、日志收集和全文检索等领域。它的核心功能包括索引、搜索、分析和聚合,但默认情况下对中文的支持并不完善,因此需要借助像IK...

    超级指南之Elasticsearch.docx

    Elasticsearch 的工作原理主要包括以下几个步骤: 1. **索引**:数据被索引到Elasticsearch集群,索引是一个逻辑空间,类似于数据库中的表,而类型则类似于表中的记录类型。 2. **分析**:在索引数据之前,Elastic...

    搜索引擎选择: Elasticsearch与Solr - 叽歪.pdf

    在搜索引擎领域,Elasticsearch与Solr是两款被广泛使用且具有代表性的开源全文搜索引擎。它们都基于Apache Lucene构建,提供了强大的搜索引擎功能。在进行搜索引擎选择时,对比Elasticsearch与Solr可以帮助我们更好...

    Elasticsearch权威指南-中文.pdf

    Elasticsearch(简称ES)是一款开源的全文搜索引擎,基于Lucene构建,设计目标是实现分布式、可扩展、实时的搜索和分析引擎。它不仅能够提供强大的全文检索功能,还能进行数据分析和数据可视化,广泛应用于日志分析...

    elasticsearch集成spring开发实例

    集成 Elasticsearch 与 Spring 的过程主要包括以下几个步骤: 1. **添加依赖**:首先,你需要在项目的`pom.xml`或`build.gradle`文件中添加Elasticsearch和Spring Data Elasticsearch的依赖。这将使你的项目能够...

    Mastering Elasticsearch Second Edition code源码

    《Mastering Elasticsearch Second Edition》是Elasticsearch领域的权威著作,其源码提供了深入理解这个分布式搜索引擎内部机制的宝贵资源。Elasticsearch是一个基于Lucene的开源全文搜索和分析引擎,广泛应用于日志...

    官方elasticsearch5.0.0

    在Elasticsearch 5.0.0 版本中,有几个显著的改进和特性: 1. **单一索引模式**:从这个版本开始,Elasticsearch 引入了单一索引模式,这意味着每个索引只能有一个类型。这一改变是为了简化架构和未来的功能发展。 ...

    elasticsearch5.5

    Elasticsearch 是一个分布式、开源的全文搜索引擎,其设计目标是提供实时、可扩展的数据搜索和分析能力。在深入探讨源码之前,我们先了解下 Elasticsearch 的基本架构和工作原理。 1. **分布式架构** - **Sharding...

Global site tag (gtag.js) - Google Analytics