ELK的单机安装配置过程

简介

    最近在工作中需要对一些日志做分析，于是调研了一些日志记录和分析处理的工具。后面选择了ELK这个套件。ELK是三个开源软件的缩写，分别表示：Elasticsearch, Logstash, Kibana。其中Elasticsearch是用于实现索引和搜索功能目的，Logstash是一个很灵活的日志收集和处理工具。Kibana是和Elasticsearch配套的图形展示界面，用于方便的展示数据和分析数据。本文对整个套件的安装配置过程做一个详细的记录。

 

环境信息

安装配置的环境信息如下：

操作系统： Ubuntu 14.04   64bit

内存： 4GB

CPU： 2

 

具体的安装过程如下：

 

安装java

    推荐安装的java版本为java 7及以上，其中java 7的安装可以使用如下命令：

sudo apt-get install openjdk-7-jdk

 

    这里安装的是openjdk7。如果需要安装oracle jdk的话，可以使用如下命令：

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update

    这里安装上了oracle jdk的源，然后使用如下命令安装：

    

sudo apt-get install oracle-java8-installer

     如果我们需要安装其他版本的jdk只需要将上述命令行里的java8改成对应的版本就可以了，比如java7, java6。

 

安装elasticsearch

    执行如下命令下载elasticsearch:

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.zip

    这里下载的是目前最新的elasticsearch1.4.4。

 

    下载到本地之后，将elasticsearch文件包解压到某个目录，假设我们默认解压到当前目录：

tar zxvf elasticsearch-1.4.4.zip

 

    打开elasticsearch目录下的config/elasticsearch.yml文件，修改文件里面的内容，保证修改后的文件内容包含如下：

# Disable HTTP completely:
#
http.enabled: true
http.cors.enable: true

   修改完毕后保存文件。

 

安装Kibana

    执行如下命令下载kibana:   

    

wget https://download.elasticsearch.org/kibana/kibana/kibana-3.0.1.tar.gz

 

    下载完毕后执行命令解压缩:

    

tar zxvf kibana-3.0.1.tar.gz

 

    修改kibana文件目录下的config.js:

    保证文件中有如下内容未被注释：

elasticsearch: "http://"+window.location.hostname+":9200",

     因为后续需要创建nginx服务器来运行kibana，所以这里先建立一个kibana放到一个合适的目录：

    

sudo mkdir -p /var/www/kibana3

    然后将kibana拷贝到指定的目录中：

   

sudo cp -R ./kibana-3.0.1/* /var/www/kibana3/

    在使用kibana之前我们还需要先安装nginx。

 

安装nginx

    执行如下命令安装nginx:

    

sudo apt-get install nginx

    安装结束之后建立文件nginx.conf，其内容如下：

 

#
# Nginx proxy for Elasticsearch + Kibana
#
# In this setup, we are password protecting the saving of dashboards. You may
# wish to extend the password protection to all paths.
#
# Even though these paths are being called as the result of an ajax request, the
# browser will prompt for a username/password on the first request
#
# If you use this, you'll want to point config.js at http://FQDN:80/ instead of
# http://FQDN:9200
#
server {
  listen                *:80 ;

  server_name           localhost;
  access_log            /var/log/nginx/kibana.myhost.org.access.log;

  location / {
    root  /var/www/kibana3;
    index  index.html  index.htm;
  }

  location ~ ^/_aliases$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
  }
  location ~ ^/.*/_aliases$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
  }
  location ~ ^/_nodes$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
  }
  location ~ ^/.*/_search$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
  }
  location ~ ^/.*/_mapping {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
  }

  # Password protected end points
  location ~ ^/kibana-int/dashboard/.*$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
    limit_except GET {
      proxy_pass http://127.0.0.1:9200;
      auth_basic "Restricted";
      auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd;
    }
  }
  location ~ ^/kibana-int/temp.*$ {
    proxy_pass http://127.0.0.1:9200;
    proxy_read_timeout 90;
    limit_except GET {
      proxy_pass http://127.0.0.1:9200;
      auth_basic "Restricted";
      auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd;
    }
  }
}

     

    需要注意其中如下行的内容server_name localhost; 需要将server_name设置成对应的机器名。

 

   文件修改结束后将文件拷贝到指定的目录：

sudo cp nginx.conf /etc/nginx/sites-available/default

  重启nginx以使得改动生效：

sudo service nginx restart

   

安装logstash

    下载logstash:

   

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

     解压logstash文件包：

    

tar zxvf logstash-1.4.2.tar.gz

 

 这样，上述的elasticsearch, kibana, logstash就都已经安装好了。我们可以通过运行一个简单的示例来验证安装是否正确。

 

验证安装

    进入elasticsearch目录，启动elasticsearch:

   

cd ~/elasticsearch/
./bin/elasticsearch

  

     在logstash目录创建一个文件sample.conf，其内容如下：

input { 
	stdin{} 
}

 
output {
    elasticsearch { host => localhost }

    stdout {
        codec => rubydebug
    }
}

     其中output里将输出定向到两个地方，一个是elasticsearch，一个是本地的console。

 

     在logstash安装目录下执行命令启动logstash:

./bin/logstash -f sample.conf

 

    在启动命令后输入字符串hello，则屏幕显示如下输出：

{
       "message" => "hello",
      "@version" => "1",
    "@timestamp" => "2015-02-27T06:08:02.038Z",
          "host" => "ubuntu"
}

 

    打开浏览器，输入http://localhost，则可以看到kibana的页面如下：

 

 如果点击页面右边logstash dashboard的链接，则可以看到如下的界面：

     我们在下面的All EVENTS部分还可以看到刚才在logstash命令行显示的内容hello。

     这样，整个ELK的单机安装过程就结束了。

 

参考材料

https://www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-and-visualize-logs-on-ubuntu-14-04