elasticsearch集群搭建

之前对于CDN的日志处理模型是从 
logstash agent==>>redis==>>logstash index==>>elasticsearch==>>kibana3，对于elasticsearch集群搭建，可以把索引进行分片存储，一个索引可以分成若干个片，分别存储到集群里面，而对于集群里面的负载均衡，副本分配，索引动态均衡（根据节点的增加或者减少）都是elasticsearch自己内部完成的，一有情况就会重新进行分配。 
下面先是介绍几个关于elasticsearch的几个名词 

cluster 
代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 
shards 
代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 
replicas 
代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。 
recovery 
代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。 
river 
代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的，river这个功能将会在后面的文件中重点说到。 
gateway 
代表es索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个es集群关闭再重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。 
discovery.zen 
代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。 
Transport 
代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

一个简易搜索集群,分享一下.

操作系统环境:Red Hat 4.8.2-16

elasticsearch ：elasticsearch-1.4.1

集群搭建方式：一台虚拟机上2个节点.

集群存放路径：/export/search/elasticsearch-cluster 

必备环境:  java运行环境

集群搭建实例展示:

1. 解压tar包,创建集群节点

#进入到集群路径
[root@localhost elasticsearch-cluster]# pwd
/export/search/elasticsearch-cluster
#重命名解压包
[root@localhost elasticsearch-cluster]# ls
elasticsearch-1.4.1
[root@localhost elasticsearch-cluster]# mv elasticsearch-1.4.1 elasticsearch-node1
#进入到节点配置路径
[root@localhost elasticsearch-cluster]# cd elasticsearch-node1/config/
[root@localhost config]# ls
elasticsearch.yml  logging.yml

2.创建集群配置信息:

# elasticsearch-node1配置
# 配置集群名称
cluster.name: elasticsearch-cluster-centos
# 配置节点名称
node.name: "es-node1"
# 为节点之间的通信设置一个自定义端口(默认为9300)     
transport.tcp.port: 9300 
# 设置监听HTTP传输的自定义端(默认为9200)
http.port: 9200              

elasticsearch配置文件说明见: http://blog.csdn.net/an74520/article/details/10175603

3.安装head插件

#进入到节点bin路径
[root@localhost bin]# pwd
/export/search/elasticsearch-cluster/elasticsearch-node1/bin
安装插件
[root@localhost bin]# ./plugin -install mobz/elasticsearch-head

安装完插件之后会在es节点bin路径同级创建一个plugins目录,存放安装的插件

4.复制一份配置好的节点为elasticsearch-node2

[root@localhost elasticsearch-cluster]# ls
elasticsearch-node1  elasticsearch-node2

5.修改节点2中的集群配置信息

# elasticsearch-node2配置
# 配置集群名称
cluster.name: elasticsearch-cluster-centos
# 配置节点名称
node.name: "es-node2"
# 为节点之间的通信设置一个自定义端口(默认为9300)     
transport.tcp.port: 9301 
# 设置监听HTTP传输的自定义端(默认为9200)
http.port: 9201             

说明：

上面配置表示集群中有2个节点,节点名为别为,"es-node1"和  "es-node2"，同属于集群"elasticsearch-cluster-centos"

节点二中端口可以不用配置,es在启动时会去检测,如果目标端口被占用,会检测下一个端口.因为两节点部署在同一天虚拟机上为了更好的说明问题,这里手动配置了对应的端口.

我们可以从es对应日志中()查看对应的启动信息,以及端口绑定信息。

6.分别启动节点

[root@localhost bin]# pwd
/export/search/elasticsearch-cluster/elasticsearch-node1/bin
[root@localhost bin]# ./elasticsearch -d -Xms512m -Xmx512m

如上,为启动节点1的命令,es启动配置相关日志查看elasticsearch-cluster- centos.log即可.

[root@localhost logs]# pwd
/export/search/elasticsearch-cluster/elasticsearch-node2/logs
[root@localhost logs]# ls
elasticsearch-cluster-centos_index_indexing_slowlog.log  elasticsearch-cluster-centos.log  elasticsearch-cluster-centos_index_search_slowlog.log

7. 至此我们的简易集群配置完成.查看集群

因为我们安装了head插件,所以可以通过该插件查看,虚拟机ip为192.168.1.108.

http://192.168.1.108:9200/_plugin/head/ (对应节点1)
http://192.168.1.108:9201/_plugin/head/ (对应节点2)

http://www.tuicool.com/articles/FreqUv

 

http://www.360doc.com/content/15/0806/10/18167315_489830240.shtml