在本文中,将介绍使用 logstash + kafka + elasticsearch 实现微服务日志监控与查询。
服务配置
添加 maven 依赖:
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency>
添加 log4j2 配置:
<?xml version="1.0" encoding="UTF-8"?> <Configuration status="WARN"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/> </Console> <Kafka name="Kafka" topic="mcloud-log"> <PatternLayout pattern="%date %message"/> <Property name="bootstrap.servers">localhost:9092</Property> </Kafka> </Appenders> <Loggers> <Root level="debug"> <AppenderRef ref="Console"/> <AppenderRef ref="Kafka"/> </Root> <Logger name="org.apache.kafka" level="INFO" /> </Loggers> </Configuration>
系统配置
Zookeeper-3.4.10
添加配置
在 conf 目录下创建配置文件 zoo.cfg , 并在其中添加以下内容:
tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181
启动 ZooKeeper
windows:
bin/zkServer.bat start
Kafka_2.11-1.0.0
修改日志存储位置
config/server.properties
log.dirs=D:/kafka-logs
启动 Kafka
windows:
bin/windows/kafka-server-start.bat config/server.properties
注:
如果在启动的时候出现以下错误:
错误: 找不到或无法加载主类需要手动修改 bin/windows/kafka-run-class.bat ,找到以下的代码:
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %
将其中的 %CLASSPATH% 添上双引号 => "%CLASSPATH%" 。
Elasticsearch-6.1.1
安装 x-pack
bin/elasticsearch-plugin install x-pack新增用户:
bin/users useradd mcloud-user修改角色:
bin/users roles -a logstash_admin mcloud-log-user注:
系统内置角色:
Known roles: [kibana_dashboard_only_user, watcher_admin, logstash_system, kibana_user, machine_learning_user, remote_monitoring_agent, machine_learning_admin, watcher_user, monitoring_user, reporting_user, kibana_system, logstash_admin, transport_client, superuser, ingest_admin]启动服务
bin/elasticsearch.batKibana-6.1.1
安装 x-pack
bin/kibana-plugin.bat install x-pack
启动服务
bin/kibana.bat
Logstash-6.1.1
创建配置文件
config/logstash.conf
input { logstash-input-kafka { topics => ["mcloud-log"] } } output { elasticsearch { hosts => ["localhost:9200"] user => "mcloud-user" password => 123456 } }
最终效果
相关服务启动完成后, 登陆 kibana 管理界面,可以看到以下的效果:
相关推荐
flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
Filebeat+Kafka+Logstash+ElasticSearch 日志监控解决方案 本文档介绍了一种基于Filebeat、Kafka、Logstash和ElasticSearch的日志监控解决方案。该解决方案可以实时收集、处理和存储日志数据,提供了一个完整的日志...
第一步是设置数据源,根据我们之前推送给elasticsearch的日志数据,使用management标签创建索引模式; 第二步根据第一步创建的索引模式,使用Visualize 标签页用来设计可视化图形; 第三步根据第二步做好的可视化...
elasticsearch-7-12-1.tar.zip
本文将详细介绍如何在环境中集成 SkyWalking 8.4.0、Kafka 和 Elasticsearch 7.12.0 的配置和搭建过程。 首先,确保你已下载了 Apache SkyWalking 的特定于 Elasticsearch 7 的版本,例如 `apache-skywalking-apm-...
通过整合ELK、logback、kafka和nginx,我们可以构建一个强大的分布式日志分析平台,实现日志的实时收集、处理、存储和可视化,从而在大型企业环境中有效监控和诊断问题。这个平台能够适应不同开发语言的应用,同时...
本篇将详细阐述如何利用一系列工具,包括Filebeat、Syslog、Flume、Kafka、Logstash以及Elasticsearch(简称ES),来构建一个高效、可扩展的日志收集系统。 首先,Filebeat是Elastic公司出品的一款轻量级日志收集...
最简单的是Elasticsearch+Logstash+Kibana,但生产环境通常推荐使用Elasticsearch+Logstash+Filebeat+Kibana或Elasticsearch+Logstash+Filebeat+Kafka+Kibana的架构,以保证日志处理的稳定性和数据完整性。...
日志分析集群,在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档,很详细,通常的EFK日志分析,加上kafka的消息队列,可以处理PB级别的日志内容。
本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件组成,分别负责日志收集、缓存层、日志处理、数据存储和数据展示。 FileBeat是轻量级的日志收集器,负责从多种来源收集日志,并将其转存到Kafka...
在日志管理领域,传统的ELK(Elasticsearch, Logstash, Kibana)堆栈正逐渐被EFK(Elasticsearch, Fluentd, Kafka)所取代,原因是Logstash在处理大量日志时可能消耗过多内存,而Fluentd在轻量级日志收集方面表现更...
ELK(Elasticsearch, Logstash, Kibana)栈是大数据日志分析领域常用的解决方案,结合rsyslog和Kafka可以实现高效、可靠的日志收集与处理。在这个ELK5.5+rsyslog+kafka的配置中,我们将探讨如何搭建这样的系统,以及...
对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELK,所以说ELK指的是...
本主题将深入探讨如何使用Apache Kafka和Log4j来实现日志的集中管理和处理。Kafka是一个高吞吐量、分布式的消息发布订阅系统,而Log4j则是一款广泛使用的Java日志框架,二者结合能有效提升日志处理效率和分析能力。 ...
ELK 套件是由Elasticsearch、Logstash和Kibana三个组件组成的开源日志分析平台。Elasticsearch是一个高性能、分布式、全文搜索引擎,用于存储和检索大量结构化和非结构化的数据。Logstash则是一个数据收集和处理引擎...
该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana)组件,实现了日志的实时流处理和可视化分析。 1. **可视化展示日志**:Kibana作为ELK堆栈的一部分,提供了一个...
Logstash支持各种输入插件(如文件、HTTP、TCP等)、输出插件(如Elasticsearch、Kafka等)以及过滤插件,允许开发者根据需要对数据进行清洗和预处理。 在Logstash中,我们可以通过配置文件定义输入源,例如读取PHP...
2019年elaticsearch6.6.0的安装教程,kibana6.6.0安装教程,logstash6.6.0安装教程,ik分词器,head插件,bigdesk等插件安装教程,x-pack使用等。
为了解决这一问题,ELK stack应运而生,它是由Elasticsearch、Logstash、Kibana和Kafka组成的开源实时日志分析系统。本篇文章详细介绍了如何使用Elasticsearch5.3.2、Logstash5.3.2、Kibana5.3.2以及Kafka-*.**.*.*...
**ELK(Elasticsearch + Logstash + Kibana)** 是一个强大的日志管理和分析解决方案,广泛应用于大数据场景,特别是对于实时日志收集、处理、存储和可视化。这个组合提供了从日志生成到可视化的全套流程,帮助企业更...