Ubuntu 搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)

事先安装好 JDK环境
下载jdk安装包：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
1.安装依赖包jdk8：
#sudo mkdir /usr/lib/jvm
#tar xvzf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm/
#vim ~/.bashrc
在文档最下部追加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH


执行：source ~/.bashrc

执行java -version和java，有相应数据即安装完成。


下载ELK安装包：https://www.elastic.co/downloads/


------------------------------------------------------------------------



1
#tar xvzf logstash-2.3.3.tar.gz
在logstash-2.3.3目录下创建logstash-test.conf配置文件，内容如下：

# cat logstash-test.conf
 
input { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫"stdin"的input，output定义一个叫"stdout"的output。无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符，其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用如下命令启动：

# ./bin/logstash agent -f logstash-test.conf
启动后，你在屏幕上输入什么内容，就会在console里显示出来。如输入"hello".
显示对应json内容则成功。



安装elasticsearch：


#tar xvzf elasticsearch-2.3.3.tar.gz
修改配置文件，允许远程访问：



cd elasticsearch-2.3.3/config
vim elasticsearch.yml
修改network栏为：
network.host 0.0.0.0


启动elasticsearch：


# ./bin/elasticsearch -d #-d为后台启动


访问访问http://<elasticsearch-ip>:9200
有数据说明成功


安装elasticsearch插件head：


# cd elasticsearch-2.3.3
# ./bin/plugin install mobz/elasticsearch-head


访问http://<elasticsearch-ip>:9200/_plugin/head

有页面说明成功




测试elasticsearch与logstash是否能链接成功：

在logstash-2.3.3安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf，该文件中定义了stdout和elasticsearch作为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中，内容如下：


[logstash-es-simple.conf]
 
input { stdin { } }
output {
   elasticsearch {hosts => "localhost" }
   stdout { codec=> rubydebug }
}
 
# hosts为elasticsearch的主机，这里两者在同一机器上
启动：

1
# ./bin/logstash agent -f logstash-es-simple.conf


打开http://<elasticsearch-ip>:9200/_search?pretty
可看到数据

4.安装kibana：

1
# tar xvzf kibana-4.5.1-linux-x64.tar.gz
启动：

1
2
# cd kibana-4.5.1-linux-x64
# ./bin/kibana

访问http://<ip>:5601 后创建索引即可

点击“Discover”选项卡，可以搜索和浏览elasticsearch中的数据，默认搜索最近15分钟的数据，也可以自定义。

评论

2 楼 沈寅麟 2017-09-04  

孔已己 写道

我这里也想搞个日志分析和预警系统！

      ELK就是最佳解决方案！

1 楼 孔已己 2017-08-25  

我这里也想搞个日志分析和预警系统！