分布式搜索引擎ElasticSearch 介绍与简介

 

18OCT

分布式搜索引擎ElasticSearch(一) -- 介绍与简介

 

Jason:

• ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎;设计用于云计算；能够达到实时搜索，稳定，可靠，快速。

 

• ElasticSearch在近一年当中，有翻天覆地的变化，据我了解：

1. 2012年11月，获得1000万美元的融资；

2. 2013年02月，获得2400万美元的融资；

3. 2013年初，亲爱的GitHub抛弃了Solr，取用了ElasticSearch 来做PB级的搜索；

    听到以上的消息，我心潮澎湃，欣喜若狂；口心念叨：有空折腾ElasticSearch才对得住自己啊！

   

• ElasticSearch一些国内外的优秀案例：

1. Github：“GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”

   

2. Foursquare：“实时搜索5千万地理位置信息？Foursquare每天使用ElasticSearch做到了”

   

3. SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”

   

4. Fog Creek ： “Elasticsearch使Fog Creek可以在400亿行代码中进行一个月3千万次的查询”

   

5. StumbleUpon : "Elasticsearch是StumbleUpon的关键部件，它每天为社区提供百万次的推荐服务"

   

    

• ElasticSearch的一些概念:

1. 集群 (cluster)

   在一个分布式系统里面,可以通过多个elasticsearch运行实例组成一个集群,这个集群里面有一个节点叫做主节点(master),elasticsearch是去中心化的,所以这里的主节点是动态选举出来的,不存在单点故障。

   在同一个子网内，只需要在每个节点上设置相同的集群名,elasticsearch就会自动的把这些集群名相同的节点组成一个集群。节点和节点之间通讯以及节点之间的数据分配和平衡全部由elasticsearch自动管理。

   在外部看来elasticsearch就是一个整体。

2. 节点(node)

   每一个运行实例称为一个节点,每一个运行实例既可以在同一机器上,也可以在不同的机器上.所谓运行实例,就是一个服务器进程.在测试环境内,可以在一台服务器上运行多个服务器进程,在生产环境建议每台服务器运行一个服务器进程

3. 索引(index)

   这里的索引是名词不是动词,在elasticsearch里面支持多个索引。类似于关系数据库里面每一个服务器可以支持多个数据库一样。在每一索引下面又支持多种类型，类似于关系数据库里面的一个数据库可以有多张表。但是本质上和关系数据库有很大的区别。这里暂时可以这么理解

    

4. 分片(shards)

   把一个索引分解为多个小的索引，每一个小的索引叫做分片。分片后就可以把各个分片分配到不同的节点中

    

5. 副本(replicas)

   每一个分片可以有0到多个副本，每个副本都是分片的完整拷贝，可以用来增加速度，同时也可以提高系统的容错性，一旦某个节点数据损坏，其他节点可以代替他.

 

介绍下es的几个概念：
cluster
     代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

shards
     代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

replicas
     代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

recovery
     代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

river
     代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的，river这个功能将会在后面的文件中重点说到。

gateway
     代表es索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个es集群关闭再重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

discovery.zen
     代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

 

Transport
     代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

 

ElasticSearch核心概念 

 

 1）索引（Index）

  ElaticSearch将数据存放在一个或多个索引当中。一个索引相当于一个数据库，里面存放用户文档数据。在底层，ElasticSearch实际上还是

 使用Lucene完成读写数据的操作，ElasticSearch索引是由一个或多个Lucene索引组成，所以ES中的分片或副本实际上就是一个Lucene索引。

 

 2）文档（Document）

  文档是ES中主要的实体，所有ES的查询都是基于存放在ES中文档资源的查询。每个文档都是由各种域（Field）组成，每个域(Field)有一个名

  称和一个或多个值构成。实际上，从用户的角度看，一个ES文档就是一个JSON对象。

 

 3）映射（Mapping）

  映射用于定义文档域的属性，这些属性包括分词器，字段类型，存储类型等。对于没有定义的字段类型的属性，ES可以自动通过其字段值进行

 识别。

 

 4）类型（Type）

  ES中每个文档必须有一个类型定义。这里的类型相当于数据库当中的表，类型定义了字段映射（类似数据库表结构），这样一来，每个索引可以包含多种文档类型，而每种文档类型定义一种映射关系。 

 

 5）节点（Node）

  ElasticSearch Server的一个实例称作一个节点，每个节点都知道所有文档所处的位置并能够将请求直接转发给拥有数据的节点。

  【号外】：Master Node

        集群启动后会将某个节点选为Master Node，Master Node主要负责管理集群中诸如创建或删除索引、从集群中添加或删除节点等集群范围的

  改变，Master Node不会关心基于文档的改变或检索。

 

 6）集群（Cluster）

  多个ES节点工作在一起组成一个集群。ES对于集群的支持几乎是无缝的，这也是ES重要的竞争优点之一。

 

 7）分片（Shard）

  ES集群环境下是将索引数据打散存放在多个节点上的，所以每个节点实际存放了ES索引的一部分，而这部分索引本质上就是Lucene的物理索引，  在ES中也称作“分片”，分片过程是ES自动执行并且对用户来说是可见，所以分片是基于索引的分片。在现在ES的版本1.3.1，每个索引分片数在创建时指定后不能改变。 

 

 8）副本（Replia）

  副本就是分片的一个拷贝，不仅能提高自身容灾，另外，请求量很大的情况下，副本可以分担主Shard压力，承担查询功能。副本个数还以在创

 建完索引后灵活调整。

 

 9）网关（Getway）

  ES会将各种集群状态信息、索引配置信息等全部持久存放在网关中。

 

 10）路由（Routing）

  ES给每个文档建索引后，通过路由可以算出所查的文档处在哪个分片上，因为在建立索引之初使用公式：shard = hash(routting) % number_of_pr

 imary_shards进行文档分配。routing值是一个任意的字符串，默认是文档的ID，通过人工指定就可以控制文档存放在哪个shard的位置了。

 

 11）索引别名（Index Alias）

  索引别名相当于快捷方式或软链接，可以指向一个或多个索引，甚至可以指向带路由的分片。

 

12）近实时性 near realtime (nrt)

        Elasticsearch是一个近实时性的搜索平台，所以对于刚建过的索引文件进行查询时需要一个轻微的等待时间（通常为1秒）。

 

 

Elasticsearch是一个搜索引擎，建立在Lucene之上，Lucene是一个全文搜索引擎库，最先进的，丰富特点的搜索引擎
库。

Lucene只是一个库，要驾驭它，你需要用java集成Lucene,
更糟糕的是，你需要了解信息搜索如何工作的，Lucene很复杂。
(PS:不懂Lucene,只会用还不是盲人一个么)

Elasticsearch使用Lucene，提供全文搜索，隐藏Lucene的复杂性。

Elasticsearch同时也是一个:

分布式，实时文档存储，每个域都被索引，可以被搜素。
一个分布式的搜索引擎，可以实时分析。

可以扩展到数百台服务器，巨大的数据。集成在一个独立的服务器，你可以通过REST风格的API来访问。

很容易上手，对新手隐藏了复杂的搜索理论，你很快就掌握它。

当你了解越多，你会越能掌握它的功能和特点，可配置，具有弹性，开始学习它！