在
ELK学习笔记(四)【原创】 中,我们介绍了使用log4j通过tcp输入日志到logstash的方法。这种方法对于推广初期比较好用,因为使用比较简单,但是有个问题,就是当压力增大时,会出现 java.net.SocketException: Broken pipe的问题。同时官网也提示log4j input plugin is deprecated, 建议采用filebeat代替。详见:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
如果对日志采集要求比较高的,最好采用filebeat。
总体架构图:
在
ELK学习笔记(二)【原创】中我们介绍了使用logstash的file input, 这个和filebeat很像。只是logstash是java编写的,比较耗资源。filebeat更轻量,性能更好,安装更方便。beats包括:
Packetbeat(搜集网络流量数据);
Topbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据);
Filebeat(搜集文件数据);
Winlogbeat(搜集 Windows 事件日志数据)。
这里只着重介绍filebeat.
1. 下载和安装
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.1.1-x86_64.rpm
sudo rpm -vi filebeat-6.1.1-x86_64.rpm
2. 修改配置
#/etc/filebeat/filebeat.yml
filebeat.prospectors:
-
paths:
- /var/log/logstash/*.log
input_type: log
exclude_lines: ['DEBUG']
multiline:
pattern: '^\['
negate: true
match: after
output.logstash:
hosts: ["logstash.zjportdns.gov.cn:5000"]
3. 启动
sudo service filebeat start
4. 设置开机自启动
vi /etc/rc.local
sudo service filebeat start
5.logstash配置
input{
beats {
type => "beat"
port => 5000
}
}
完整的配置见
附件(为了兼容log4j,对filter做了一些转换)
- 大小: 24.1 KB
分享到:
相关推荐
本文将深入探讨ELK学习笔记的第二部分,主要关注Logstash,一个强大的数据处理管道,以及如何配置它来作为日志接入网关。我们将通过分析提供的`logstash_gateway.conf`配置文件来理解Logstash的工作原理和设置。 ...
ELK学习笔记1
### ELK环境搭建知识点详解 #### 一、Virtualbox/Vagrant安装 在搭建ELK环境时,使用虚拟化工具如Virtualbox与Vagrant可以极大地方便我们进行环境配置与管理。 **1.1 Virtualbox安装** - **安装步骤**: - 在...
【ELK阅读笔记1】- Logstash 日志处理配置详解 Logstash 是 Elastic Stack(ELK Stack)中的重要组件,负责收集、解析、过滤和转发各种日志数据。本笔记主要探讨基于 Logstash 的日志处理配置语法以及相关知识点。 ...
本文档是整套的elk学习资源,内容详细 ES5.0新版本特性 1.支持lucene 6.x:索引性能提升 提升25% 磁盘占用少了 2.新增sliced scroll类型:并发遍历 新增切片类型,进行并发的遍历 3.新增profile api:查询优化 4、...
ELK资料学习搭建和讲解
### ELK部署笔记 #### 一、ELK概述与组件介绍 ##### 1.1 ELK Stack简介 ELK Stack(通常简称为ELK)是一个非常流行的开源工具套件,用于收集、存储、分析和展示大量日志数据。它由三个主要组件组成:Elasticsearch...
【Elasticsearch 知识详解】 Elasticsearch(ES)是一种强大的开源分布式搜索引擎,它具有实时分析、全文...了解以上知识后,开发者和运维人员可以有效地利用ELK栈构建和管理日志系统,进行大数据分析,提升工作效率。
老男孩elk日志收集笔记
这个"ELK学习视频.zip"压缩包包含了一系列教程,帮助用户从零开始搭建和配置一个完整的ELK环境,并结合CentOS7、Nginx、MySQL进行实践操作。 1. **CentOS7**:CentOS是一款基于RHEL(Red Hat Enterprise Linux)的...
ELK-相关笔记内容-自己使用
ELK Stack,全称为Elasticsearch、Logstash和Kibana的组合,是一个强大的日志管理和分析工具。本文档详细介绍了如何在Windows环境下搭建ELK环境,并提供了相关的资源下载链接。 首先,为了运行ELK Stack,你需要...
### ELK学习记录 #### ELK配置及使用步骤详解 ELK栈,即Elasticsearch、Logstash与Kibana的组合,是当前业界广泛采用的日志管理和数据分析平台。本篇将围绕Logstash这一核心组件进行深入探讨,涵盖其基本配置、...
elk部署流程
elk Elasticsearch全套学习视频,基础篇,进阶篇,第二版, 基于Elasticsearch最新版本 价值2000,买过下载好的分享给大家,无加密 原课程地址 ...
elk海量存储 elk学习资料,可以看看也不是很贵.谢谢,
ELK(Elasticsearch, Logstash, Kibana)栈是大数据分析和日志管理领域的一个强大工具组合,尤其在实时搜索、监控和数据分析方面表现出色。本手册提供了ELK的中文详细指南,旨在帮助用户更好地理解和应用这套系统。 ...
ELK学习分享主要涵盖的是Elasticsearch、Logstash和Kibana这三个组件,它们是构建实时日志分析系统的常用工具,广泛应用于大数据日志管理和可视化。 首先,Lucene是Elasticsearch的核心,它是一个高性能、全文本...