基于Docker的ELK日志平台搭建

1.安装Docker

Docker可简单理解为一个轻量级的虚拟机。Docker对进程进行封装隔离，隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。Docker和传统虚拟化方式的不同。传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而Docker内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便：资源利用率高、启动迅速、迁移方便等。

 

 

1） 安装

官网有各种平台的安装指南，可参考：

https://docs.docker.com/engine/installation/

不同平台Docker安装大同小异，这里以MacOS系统为例：

a. 直接下载安装即可(命令注意输入法的中英文)

https://docs.docker.com/docker-for-mac/

b. 命令安装

$ brew install docker

2） 安装成功检测

输入如下命令：

$ docker --version

$ docker-compose --version

$ docker-machine –version

3） 镜像加速

鉴于国内的环境，可以采用VPN或阿里云等进行镜像加速，加快镜像软件的下载。

 

2. JavaWeb镜像软件制作

1） 安装CentOS

拉取最新稳定版本

$ docker pull centos

拉取特定版本

$ docker pull centos:centos6

注：若出现权限问题，命令行前面加sudo

查看当前所有镜像，确保安装成功

$ docker images

2） 创建CentOS容器

$ docker run –i -t centos /bin/bash

完整创建CentOS容器命令

& docker run -i -t --name centos1 -v /Users/devin/Documents/:/usr/local/ centos /bin/bash

注：-v<宿主机目录>:<容器目录>表示需要将本地哪个目录挂载到容器中，--name centos1表示创建的容器名字

退出容器命令行

& exit

停止容器

& docker stop容器ID

启动容器

& docker start 容器ID

进入容器命令

& docker exec -i -t 容器ID /bin/bash

查看容器命令

& docker ps      默认显示运行的容器

& docker ps –a   显示所有容器

删除容器

& docker rm 容器ID

删除镜像

& docker rmi 镜像ID

3） 安装JDK环境

进入CentOS命令环境，进入jdk存放存放目录，解压

# tar -zxvf jdk8.tar.gz

把jdk移动到/usr/local/java目录下

# mv jdk1.8.0_121 java

配置环境变量

# vi /etc/profile

在最后一行插入（快捷键G->o）

export JAVA_HOME=/usr/local/java/jdk1.8.0_121

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export CATALINA_HOME=/usr/local/java/tomcat-8.5.12  

export CATALINA_BASE=/usr/local/java/tomcat-8.5.12  

按ESC退到命令模式，按:wq保存文件并退出vi，运行如下命令使保存生效

# source /etc/profile

查看是否安装成功

# java –version

4） 安装Tomcat

# tar -zxvf tomcat-8.5.tar.gz

把Tomcat移动到/usr/local/java目录下

# mv tomcat-8.5.12 java

启动Tomcat 

# cd tomcat-8.5.12/bin

# ./startup.sh    #./shutdown.sh 关闭

5） 创建带JDK和Tomcat的镜像tempos

docker commit af7 tempos

在tempos镜像的基础上配置环境变量

a． 创建一个Dockerfile的目录，在里面建立一个Dockerfile文件，内容如下：

FROM         tempos

#配置java与tomcat环境变量  

ENV JAVA_HOME /usr/java/jdk1.8.0_121  

ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  

ENV CATALINA_HOME /usr/java/tomcat-8.5.12  

ENV CATALINA_BASE /usr/java/tomcat-8.5.12  

ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/lib:$CATALINA_HOME/bin  

#容器运行时监听的端口，多个端口可以继续换行EXPOSE  9200

EXPOSE  8080  

b． 命令行中进入Dockerfile目录所在的路径，创建新的镜像javaweb

docker build -t tempos Dockerfile

镜像javaweb即是最终我们要的带开发环境和环境变量的镜像

& docker run -p 8080:8080 -i -t --name javaweb1 javaweb /bin/bash

如果暴露多个端口：-p <host_p1>:<container_p1> -p <host_p2>:<container_2>

启动Tomcat测试

# cd /usr/local/java/tomcat-8.5.12/bin                 ./startup.sh

 

3. ELK环境搭建

1) 安装和配置ElasticSearch

官网下载ElasticSearch

https://www.elastic.co/

安装ElasticSearch（需安装JDK8及以上版本），并移动至相应目录

# tar -zxvf elasticsearch-5.2.2.tar.gz

# mv elasticsearch-5.2.2 java

配置ElasticSearch 

# vi config/elasticsearch.yml

network.host: 0.0.0.0   #设置这个配置，保证本机可以访问（Docker下）

启动ElasticSearch，进入elasticsearch-5.2.2/bin目录，执行

# ./elasticsearch                 # ./elasticsearch –d 不显示控制台信息

注：出于安全考虑，ElasticSearch不能用root账户启动，切换账户即可。

root切换为普通用户：su - username

普通切换为root用户：su - （docker exit退出）

添加用户、修改密码、删除用户

# adduser devin   # passwd devin  # userdel devin 

查看用户信息

用户列表文件：/etc/passwd
用户组列表文件：/etc/group

查看所有用户：cut -d : -f 1 /etc/passwd
查看可登录用户：cat /etc/passwd | grep -v /sbin/nologin | cut -d : -f 1

通过下面命令查看是否成功：

curl http://127.0.0.1:9200 #直接输出网站前端源码

2) 安装和配置logstash

官网下载logstash、安装并移到java目录

https://www.elastic.co/downloads/logstash
# tar -zxvf logstash-5.2.2.tar.gz

# mv logstash-5.2.2 java

创建logstash配置文件：

# cd logstash-5.2.2/config

# vi logstash.conf

启动logstash(在目录elasticsearch-5.2.2下执行)

bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts  => "127.0.0.1:9200"} }'

其中也可以直接配置logstash的文件

input { stdin { } }

output {

  elasticsearch { hosts => ["localhost:9200"] }

  stdout { codec => rubydebug }

}

# ./bin/logstash -f config/logstash.conf

 

简单测试

bin/logstash -e 'input { stdin { } } output { stdout {} }'   

Logstash检测

检测：bin/logstash -f config/logstash.conf --config.test_and_exit

开始：bin/logstash -f config/logstash.conf --config.reload.automatic

3) 安装和配置kibana

官网下载kibana

https://www.elastic.co/downloads/kibana

安装并移到java目录

# tar -zxvf kibana-5.2.2.tar.gz

# mv kibana-5.2.2 java

配置kibana

# cd java/kibana-5.2.2

# vi config/kibana.yml

server.port: 5601

server.host: "0.0.0.0"  #本机可访问

elasticsearch.url: http://127.0.0.1:9200

kibana.index: ".kibana"

启动kibana：

# ./bin/kibana

浏览器访问即可: http://localhost:5601

4) 安装和配置Filebeat

官网下载Filebeat

https://www.elastic.co/downloads/beats

安装并移到java目录

# tar -zxvf filebeat-5.2.2.tar.gz

# mv filebeat-5.2.2 java

编辑filebeat.yml（输出到elasticsearch）

  paths:

    - /usr/local/appLogs/*

 

output.elasticsearch:

  # Array of hosts to connect to.

  hosts: ["127.0.0.1:9200"]

启动filebeat

./filebeat -e -c filebeat.yml -d "publish"

5) 整合Filebeat、Logstash和ElasticSearch

修改Logstash配置文件logstash.conf

input {  

  beats {

        port => 5044

    }

 }

修改Filebeat配置文件，注释掉其他的Outputs项，打开logstash的Outputs项

output.logstash:

  # The Logstash hosts

  hosts: ["127.0.0.1:5044"]