`

Ubuntu 搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)

 
阅读更多
事先安装好 JDK环境
下载jdk安装包:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
1.安装依赖包jdk8:
#sudo mkdir /usr/lib/jvm
#tar xvzf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm/
#vim ~/.bashrc
在文档最下部追加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH


执行:source ~/.bashrc

执行java -version和java,有相应数据即安装完成。


下载ELK安装包:https://www.elastic.co/downloads/


------------------------------------------------------------------------



1
#tar xvzf logstash-2.3.3.tar.gz
在logstash-2.3.3目录下创建logstash-test.conf配置文件,内容如下:

# cat logstash-test.conf
 
input { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置,本例中input定义了一个叫"stdin"的input,output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符,其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用如下命令启动:

# ./bin/logstash agent -f logstash-test.conf
启动后,你在屏幕上输入什么内容,就会在console里显示出来。如输入"hello".
显示对应json内容则成功。



安装elasticsearch:


#tar xvzf elasticsearch-2.3.3.tar.gz
修改配置文件,允许远程访问:



cd elasticsearch-2.3.3/config
vim elasticsearch.yml
修改network栏为:
network.host 0.0.0.0


启动elasticsearch:


# ./bin/elasticsearch -d #-d为后台启动


访问访问http://<elasticsearch-ip>:9200
有数据说明成功


安装elasticsearch插件head:


# cd elasticsearch-2.3.3
# ./bin/plugin install mobz/elasticsearch-head


访问http://<elasticsearch-ip>:9200/_plugin/head

有页面说明成功




测试elasticsearch与logstash是否能链接成功:

在logstash-2.3.3安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中,内容如下:


[logstash-es-simple.conf]
 
input { stdin { } }
output {
   elasticsearch {hosts => "localhost" }
   stdout { codec=> rubydebug }
}
 
# hosts为elasticsearch的主机,这里两者在同一机器上
启动:

1
# ./bin/logstash agent -f logstash-es-simple.conf


打开http://<elasticsearch-ip>:9200/_search?pretty
可看到数据

4.安装kibana:

1
# tar xvzf kibana-4.5.1-linux-x64.tar.gz
启动:

1
2
# cd kibana-4.5.1-linux-x64
# ./bin/kibana

访问http://<ip>:5601 后创建索引即可

点击“Discover”选项卡,可以搜索和浏览elasticsearch中的数据,默认搜索最近15分钟的数据,也可以自定义。
分享到:
评论
2 楼 沈寅麟 2017-09-04  
孔已己 写道
我这里也想搞个日志分析和预警系统!

      ELK就是最佳解决方案!
1 楼 孔已己 2017-08-25  
我这里也想搞个日志分析和预警系统!

相关推荐

    linu 搭建ELK(es+kibana+logstash)安装包

    ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...

    大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana.pdf

    大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana

    基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统

    基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530

    elasticsearch+logstash+kibana+filebeat.7z (ELK 7.9.0)

    总结起来,"elasticsearch+logstash+kibana+filebeat.7z (ELK 7.9.0)" 压缩包包含了一套完整的日志管理和分析工具链,适用于大数据环境,可以帮助企业实现高效的数据收集、处理、存储和可视化。通过使用这套工具,...

    es+kibana+logstash

    标题 "es+kibana+logstash" 暗示了我们正在讨论的是 Elastic Stack 的核心组件,即 Elasticsearch、Kibana 和 Logstash。这是一套用于日志管理和分析的强大工具,广泛应用于各种业务场景,包括实时监控、故障排查、...

    ELK(Elasticsearch+logstash+kibana).zip

    ELK(Elasticsearch+logstash+kibana).zip

    suricata+elk+kibana+logstash安装手册.docx

    Suricata+ELK+kibana+logstash 安装手册是网络安全领域中构建入侵检测系统(IDS)和入侵防御系统(IPS)的关键步骤。这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案,包括 Suricata 作为核心的...

    elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档

    elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档,运维监控

    ELK 套件(ElasticSearch+Logstash+Kibana) TIG 套件(Telegraf+InfluxD

    ELK 套件是由Elasticsearch、Logstash和Kibana三个组件组成的开源日志分析平台。Elasticsearch是一个高性能、分布式、全文搜索引擎,用于存储和检索大量结构化和非结构化的数据。Logstash则是一个数据收集和处理引擎...

    ELK(ElasticSearch+Logstash+Kibana)

    **ELK(Elasticsearch + Logstash + Kibana)** 是一个强大的日志管理和分析解决方案,广泛应用于大数据场景,特别是对于实时日志收集、处理、存储和可视化。这个组合提供了从日志生成到可视化的全套流程,帮助企业更...

    elk:elasticsearch+logstash+kibana

    ELK(Elasticsearch, Logstash, Kibana)是一个流行的开源日志分析和可视化解决方案,广泛用于收集、解析、存储和展示各种日志数据。这个压缩包包含了ELK堆栈的主要组件,版本为7.6.1,适用于Linux x86_64架构。 **...

    elasticsearch+kibana+logstash ELK资料整理

    Logstash 是一个数据收集和处理管道工具,它可以从各种来源(如日志文件、数据库等)收集数据,然后通过过滤器进行清洗、转换,最后将处理后的数据发送到存储系统(如 Elasticsearch)。Logstash 的关键特点有: 1....

    ELK日志收集系统.docx

    ELK(Elasticsearch, Logstash, Kibana)日志收集系统是一种广泛使用的日志管理和分析解决方案。它由三个核心组件组成,分别是Elasticsearch(一个强大的分布式搜索引擎),Logstash(一个数据处理管道),以及...

    2021最新版7.X =&gt; filebeat+logstash+ES集群+kibana实战.txt

    filebeat+logstash+ES集群+kibana实战.txt

    elasticsearch+kibana+logstash

    总结来说,"elasticsearch+kibana+logstash" 组合通常被称为ELK堆栈,是企业级日志管理和分析的流行解决方案。Elasticsearch 处理和存储数据,Kibana 进行数据可视化,而 Logstash 负责数据收集和预处理。配合中文...

    springboot - 2.7.3版本 - (五)整合Elasticsearch+Logstash+Kibana(ELK)

    在本文中,我们将深入探讨如何使用Spring Boot 2.7.3版本与Elasticsearch、Logstash和Kibana(通常称为ELK Stack)进行集成,以便高效地收集、存储和分析应用程序日志。ELK Stack是日志管理和监控的强大工具,其中...

    Logstash, OSSEC + Logstash + Elasticsearch + Kibana.zip

    Logstash, OSSEC + Logstash + Elasticsearch + Kibana OSSEC使用 LOGSTASH - ELASTICSEARCH - KIBANA 管理 OSSEC警报管理现在是Magento安装脚本的一部分。 https://github.com/magenx/Magento-Automat

    ES+Logstash+Kibana+filebeat (ELK)单点部署文档

    本文档旨在指导用户在单点环境中部署ELK(Elasticsearch、Logstash、Kibana、Filebeat)日志分析系统。下面将详细介绍每个组件的安装、配置和启动过程。 一、环境准备 在开始部署ELK之前,需要准备一个Linux服务器...

    ELK(Elastic+Logstash+Kibana)部署+配置操作文档.docx

    ELK Stack是一套开源工具集合,由Elasticsearch、Logstash和Kibana三个主要组件组成,主要用于收集、存储、分析和可视化大规模日志数据。本文档详细介绍了如何在Linux CentOS 7.2.2环境下部署并配置ELK Stack,包括...

    2021最新版7.x =&gt; filebeat+logstash+ES集群+kibana实战.pdf

    ELK堆栈是由Elasticsearch、Logstash和Kibana三个开源工具组成的,它们通常联合使用来实现日志数据的收集、分析和可视化。Elasticsearch是一个基于Lucene构建的开源搜索引擎,具有分布式、多租户的能力,提供搜索...

Global site tag (gtag.js) - Google Analytics