`
qindongliang1922
  • 浏览: 2184537 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117546
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125937
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59934
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71307
社区版块
存档分类
最新评论

海量可视化日志分析平台之ELK搭建

    博客分类:
  • ELK
阅读更多
ELK是什么?
E=ElasticSearch ,一款基于的Lucene的分布式搜索引擎,我们熟悉的github,就是由ElastiSearch提供的搜索,据传已经有10TB+的数据量。
L=LogStash , 一款分布式日志收集系统,支持多输入源,并内置一些过滤操作,支持多输入元
K=Kibana , 一款配合ElasticSearch的web可视化界面,内置非常各种查询,聚合操作,并拥有漂亮的图形化展示功能

为什么要用ELK?

在实际应用中,我们的日志是非常重要的,它通常会记录一些比较重要的信息,如应用程序的log记录的error,warn级别的log,通常在量小的情况下,我们可以直接vi+awk+sed+grep定位原因,在量大的时候,这种方式就捉襟见肘了,而且我们还要各种聚合,或者基于异常多个关键词的搜索,并有且,或,交,并,差,补,排序等一些操作,而且相应速度必须给力,如果线上环境出了故障,能够立刻准确定位,ELK就是高手,在百万大军中取上将首级,犹如探囊取物,所以这时候ELK就非常适合了,当然除此之外,ELK也经常在运维工作中大放光彩,在应用级别的实时监控,非常适合一些重要核心服务的预警。


ELK如何安装搭建?

环境要求:
Linux系统:Centos7




Java版本:JDK1.8




ELK均为最新版本:





(1)ElasticSearch1.7.2 基于Lucene4.10.4的版本



(2)Logstash1.5.4




(3)Kibana4.1.2





集群拓扑:

ElasticSearch 3台机器:
集群名:search
机器名+es节点名     =>         ip地址
h1                 =>         192.168.1.120
h2                 =>         192.168.1.121
h3                 =>         192.168.1.122

Logstash    192.168.1.120
Kibana       192.168.1.120


下载:
elasticsearch: wget  https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.3.tar.gz
logstash       : wget  https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana          : wget  https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz


一: 安装elasticsearch集群:

(1)解压到指定目录
(2)配置elasticsearch.yml里面,集群名字和节点名字,如果不配置默认集群名为elasticsearch,节点名随机生成一个
(3) 在线安装head和bigdisk插件
直接在elasticsearch的根目录下,分别输入:
bin/plugin --install mobz/elasticsearch-head  安装head
bin/plugin --install lukas-vlcek/bigdesk  安装bigdesk

(4)scp分发安装完毕后的elasticsearch
(5)依次启动各个机器上的elasticsearch
(6)head显示如下:







(7)bigdisk显示如下:










二:安装logstash

(1)解压到指定目录
(2)在根木下新建一个conf目录,在里面新建一个配置文件first.conf



(3)启动logstash
执行命令: bin/logstash -f conf/first.conf





三:安装kibana
(1)解压到指定目录
(2)在根目录执行bin/kibana直接启动
(3)访问http://192.168.1.120:5601/ 配置一个ElasticSearch索引
(4)在logstach里面添加数据




(5)查看图表:刚新加的数据






四: 至此,ELK组件已经安装完毕,带图形化界面的简单日志查询分析系统就搞定了

本篇只是一个简单的入门例子,如需深入可以研究elastic的官网文档:
https://www.elastic.co/guide/index.html


最后欢迎大家扫码关注微信公众号:我是攻城师(woshigcs),我们一起学习,进步和交流!(woshigcs)
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园,有什么问题随时都可以留言,欢迎大家来访!

  • 大小: 16.3 KB
  • 大小: 6.1 KB
  • 大小: 13.2 KB
  • 大小: 110.2 KB
  • 大小: 2.9 KB
  • 大小: 9 KB
  • 大小: 80.6 KB
  • 大小: 59.3 KB
  • 大小: 73.2 KB
  • 大小: 54.1 KB
  • 大小: 12.3 KB
  • 大小: 50.6 KB
  • 大小: 17.8 KB
  • 大小: 52.7 KB
1
2
分享到:
评论

相关推荐

    构建ELK海量日志分析平台视频教程.rar

    在“构建ELK海量日志分析平台视频教程”中,你可能会学习到以下关键知识点: 1. **环境搭建**:如何在Linux或Windows系统上安装和配置Elasticsearch、Logstash和Kibana,包括版本选择、依赖项管理、配置文件设置等...

    构建日志平台ELK Stack.zip

    通过这个实训,运维新人可以了解日志管理的重要性,掌握如何从零开始搭建一个完整的日志分析平台,为后续的运维工作打下坚实基础。 在云计算和物联网领域,ELK Stack常被用来收集和分析分布式系统的日志,帮助运维...

    ELK入门及集群搭建快速实践1

    对于大型或复杂的日志分析需求,可能还需要扩展ELK架构,例如使用Filebeat代替Logstash进行日志收集,或者使用更高级的过滤和处理规则。此外,还可以利用Elastic Stack的其他组件,如Metricbeat和Packetbeat,来收集...

    Centos7搭建ELK+filebeat.docx

    ELK(Elasticsearch、Logstash、Kibana)是一个流行的日志分析和管理系统,它允许用户收集、处理、存储和可视化各种来源的日志数据。Filebeat作为轻量级的日志收集代理,常被用于与ELK结合,以提高效率和资源利用率...

    Elasticsearch5.3.2Logstash5.3.2Kibana5.3.2Kafka-0.10.0.1打造开源实时日志分析系统v1.4

    Kibana为用户提供了基于Web界面的日志分析工具,使用户能够通过可视化的方式对日志数据进行搜索、分析和展示。而Kafka是一个分布式的流处理平台,它作为一个消息队列,用来作为Logstash shipper和indexer之间的缓冲...

    linux kafka+elk7.9.1搭建所需要的的包.rar

    Linux环境下,ELK(Elasticsearch、Logstash、Kibana)和Kafka以及Zookeeper是构建高效日志管理和分析系统的必备组件。这个压缩包包含了这些...只需按照上述步骤进行操作,就能构建一个功能强大的日志管理和分析平台。

    Linux的elk.zip

    总的来说,ELK堆栈是一个强大的日志管理和分析平台,可以帮助用户快速地从海量日志数据中提取有价值的信息,提高运维效率和决策质量。通过“elk.zip”这样的整合包,用户可以更方便地搭建和使用这一系统,无需逐一...

    ELK项目前台后系统搭建及Dubbo快速入门.docx

    ELK项目是指由Elasticsearch、Logstash和Kibana组成的日志分析和可视化平台。Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎,用于处理和存储海量日志数据。Logstash是一个数据收集引擎,能够从多个...

    ELK6最新ElasticSearch 6(ELK 6)实战视频教程

    本教程旨在通过实战案例,详细介绍如何利用ELK 6搭建高效稳定的数据分析平台。 #### Elasticsearch 6简介 Elasticsearch是一款基于Lucene的开源搜索引擎,它提供了分布式索引和搜索能力,能够支持PB级别的数据量。...

    ELK的Springboot 程序

    本项目“ELK的Springboot程序”结合了Spring Boot框架与ELK技术,实现了日志的高效收集、处理和可视化。下面将详细阐述相关知识点。 1. **Spring Boot** Spring Boot是由Pivotal团队提供的全新框架,旨在简化...

    Learning ELK Stack

    读者可以通过阅读本书,从零开始掌握ELK Stack的安装、使用和优化技巧,进而在实际工作中应用ELK Stack解决日志分析和数据可视化问题。书籍内容详细到涵盖了Elasticsearch的搜索和分析能力、Logstash的数据处理能力...

    elk三合一资源包(kibana-7.13.3,ik-7.13.2,elasticsearch-7.13.3)

    这个资源包的组合,使得开发者和运维人员能够在Windows环境下快速搭建一个功能完备的日志分析平台。首先,安装Elasticsearch作为数据存储和处理核心;接着,配置IK分词器以优化中文文本的索引和查询;最后,部署...

    elk全家桶分两次上传2

    "ELK全家桶"是日志分析领域的一个组合,它由Elasticsearch、Logstash、Kibana三个组件构成,用于收集、分析和可视化大量数据。在这个“elk全家桶分两次上传2”的资源包中,包含了这三者以及Zookeeper和Kafka,这些都...

    elk:elasticsearch+logstash+kibana

    ELK(Elasticsearch, Logstash, Kibana)是一个流行的开源日志分析和可视化解决方案,广泛用于收集、解析、存储和展示各种日志数据。这个压缩包包含了ELK堆栈的主要组件,版本为7.6.1,适用于Linux x86_64架构。 **...

    手机微博实时日志经验谈--饶琛琳1

    由于商业解决方案如Splunk的成本较高,所以选择搭建基于开源组件的ELK平台成为了一个经济高效的选择。 ELKstack的入门非常简单,通过Logstash的输入和输出插件可以实现基本的日志收集和展示。例如,使用Logstash的...

    wgcloud-v3.2.9运维监控系统(windows版本)

    总的来说,wgcloud-v3.2.9运维监控系统提供了一站式的IT基础设施监控方案,结合了数据可视化、Zabbix兼容性和ELK日志分析的优势。对于IT运维人员来说,这是一款值得信赖的工具,能帮助他们提升效率,确保业务的稳定...

    ELK是包含但不限于Elasticsearch(简称es)、Logstash、Kibana 三个开源软件的组成的一个整体

    ELK Stack,即Elasticsearch、Logstash与Kibana的组合体,是业界广泛采用的一款开源日志管理和数据分析平台。该平台以其卓越的性能、丰富的功能及强大的扩展性而闻名。 **Elasticsearch**作为该平台的核心组件之一...

    kibana-4.4.1-windows.zip

    Logstash用于收集、解析和转换各种数据源,Elasticsearch负责存储和检索数据,而Kibana则负责数据的展示和分析,三者协同工作,构建了一个强大的日志管理和分析平台。 6. **扩展应用**: - 安全监控:通过监控系统...

    kibana-8.4.3-windows-x86_64.zip

    它提供了丰富的数据探索、仪表板创建以及数据可视化的功能,帮助用户理解存储在Elasticsearch中的海量数据。Kibana 8.4.3是这个平台的一个特定版本,适用于Windows x86_64架构的系统。 1. **Kibana的核心功能**: ...

Global site tag (gtag.js) - Google Analytics