ELK 安装部署

ELK概述

 

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：

1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

在ElasticSearch中，所有节点的数据是均等的。

2）Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。

 

3）Kibana 是一个基于浏览器页面的ElasticSearch前端展示工具，也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

 

一、安装JDK

 

 

 Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7，推荐使用最新版本的Java（已安装的请跳过）。

 

# wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

 配置Java环境变量 

# vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

  执行java -version命令，查看JDK是否配置成功。

 

 

 

二、安装Logstash

 

 

 下载Logstash，并解压Logstash到指定目录 

# wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz
# tar -zxvf logstash-2.3.4.tar.gz -C /usr/local/
# mv /usr/local/logstash-2.3.4 /usr/local/logstash

 简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上 

# /usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

 创建Logstash配置文件 

# mkdir -p /data/elk/logstash_conf/
# vi log_web_error.conf

 

input {
    file {
                codec => multiline {
                         pattern => "^\d{2}:\d{2}:\d{2}\.\d* \d* ERROR"
                         negate => true
                         what => "previous"
                }
                path => "/data/weblogs/tomcat_web/error/*.log"
                start_position => "beginning"
    }
}


output {
    stdout {}
    elasticsearch {
        action => 'index'
        hosts => '172.16.90.33'
        index => 'web_33_error'
    }
}

 测试脚本是否正常（正常启动时，日志信息会打印到控制台） 

# /usr/local/logstash/bin/logstash -f /data/elk/logstash_conf/log_web_error.conf

 当脚本较多时，可以指定logstash –f到指定目录即可

# /usr/local/logstash/bin/logstash -f /data/elk/logstash_conf/

 

 

 

 

三、安装ElasticSearch

 

 

 1、下载ElasticSearch，并解压到指定目录 

# wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz
# tar -zxvf elasticsearch-2.3.4.tar.gz -C /usr/local/
# mv /usr/local/elasticsearch-2.3.4 /usr/local/elasticsearch

  

 2、创建ElasticSearch数据存储目录和日志存储目录 

# mkdir -p /data/elk/db/
# mkdir -p /data/weblogs/elk/

  

 3、为ElasticSearch服务创建启动用户 

# useradd es
# chown -R es /usr/local/elasticsearch/
# chown -R es /data/

  

 4、调整ElasticSearch配置文件 

# cd /usr/local/elasticsearch/config/
# vi elasticsearch.yml

 

cluster.name: es-cluster
node.name: node-33
path.data: /data/elk/db
path.logs: /data/weblogs/elk
network.host: 172.16.90.33
http.port: 9200 

  

 5、安装head插件 

# su - es
$ cd /usr/local/elasticsearch/
$ ./bin/plugin install mobz/elasticsearch-head
#查看head插件是否安装
$ ls plugins/

 

 6、启动ElasticSearch 

$ ./bin/elasticsearch &

 

 7、查看ElasticSearch首页 

# curl http://172.16.90.33:9200

 可以通过浏览器查看head插件是否安装成功：http://172.16.90.33:9200/_plugin/head/

 

 

 8、防火墙配置

 

 为了正常使用HTTP服务等，需要关闭防火墙 

 

# service iptables stop

 或者可以不关闭防火墙，但是要在iptables中打开相关的端口 

 

# vi /etc/sysconfig/iptables  
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT  
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT  
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9292 -j ACCEPT  
# service iptables restart  

 

 

四、安装Kibana

 

 

 

 1、下载Kibana，并安装Kibana到指定目录

 

# wget https://download.elastic.co/kibana/kibana/kibana-4.5.3-linux-x64.tar.gz
# tar -zxvf kibana-4.5.3-linux-x64.tar.gz
# mv /usr/local/kibana-4.5.3-linux-x64 /usr/local/kibana/

 2、修改Kibana配置文件 

 

# cd /usr/local/kibana/config/
# vi kibana.yml
server.host: "172.16.90.33"
elasticsearch.url: http://172.16.90.33:9200

 3、启动Kibana 

 

# cd ../
# ./bin/kibana &

  通过浏览器访问Kibana:  http://172.16.90.33:5601/

 

 

 

五、kibana的登录认证问题

 

kibana是nodejs开发的，本身并没有任何安全限制，直接浏览url就能访问，如果公网环境非常不安全，可以通过nginx请求转发增加认证，方法如下：

注意：kibana没有重启命令，要重启，只能ps -ef|grep node 查找nodejs进程，干掉重来。 

 

 1、参考一下内容修改nginx配置文件：

 

##如果是大规模集群环境，此处配置多台Kibana服务器即可
    upstream kibana_server {
		server 172.16.90.33:5601;
		#server 192.168.8.203:5601;
    }
    server {
        listen       80;
        server_name  localhost;
		charset utf8;
		location / {
			proxy_pass http://kibana_server$request_uri;
			proxy_set_header Host $http_host;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_set_header X-Forwarded-Proto $scheme;
			##方案一、用户认证方式，依赖apache-utils中的生成密码工具
			auth_basic "secret";
			auth_basic_user_file /usr/local/nginx/db/passwd.db;
			##方案二、只有公司的外网IP，局域网IP可以访问
			#allow   10.**.*.**;
			#allow   192.168.8.0/24;
			#deny    all;
		}
	}

  2、配置登录用户名、密码

 

htpasswd -c /usr/local/nginx/db/passwd.db kibana

 注意passwd.db的路径要跟nginx配置中的一致，最后的kibana为用户名，可以随便改，输入完该命令后，系统会提示输入密码，搞定后passwd.db中就有加密后的密码了，有兴趣的可以cat看下。

 

 提示：htpasswd是apache自带的小工具，如果找不到该命令，尝试用yum install httpd安装。

 

 3、关闭kibana端口的外网访问

 

 用nginx转发后，一定要记得配置iptables之类的防火墙，禁止外部直接访问5601端口，这样就只能通过nginx来访问了。