本文是参考logstash官方文档实践的笔记,搭建环境和所需组件如下:
- Redhat 5.7 64bit / CentOS 5.x
- JDK 1.6.0_45
- logstash 1.3.2 (内带kibana)
- elasticsearch 0.90.10
- redis 2.8.4
搭建的集中式日志分析平台流程如下:
elasticsearch
1、下载elasticsearch。
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.10.tar.gz
2、解压后,进入bin目录。执行如下命令,让elasticsearch以前台方式启动:
./elasticsearch -f
[2014-01-16 16:21:31,825][INFO ][node ] [Saint Elmo] version[0.90.10], pid[32269], build[0a5781f/2014-01-10T10:18:37Z] [2014-01-16 16:21:31,826][INFO ][node ] [Saint Elmo] initializing ... [2014-01-16 16:21:31,836][INFO ][plugins ] [Saint Elmo] loaded [], sites [] [2014-01-16 16:21:35,425][INFO ][node ] [Saint Elmo] initialized [2014-01-16 16:21:35,425][INFO ][node ] [Saint Elmo] starting ... [2014-01-16 16:21:35,578][INFO ][transport ] [Saint Elmo] bound_address {inet[/0.0.0.0:9300]}, publish_address {inet[/10.0.2.15:9300]}
Redis
1、其安装方式可以参考我的另一篇文章Redis编译安装。
2、进入其bin目录,执行如下命令,使之在控制台输出debug信息:
./redis-server --loglevel verbose
[32470] 16 Jan 16:45:57.330 * The server is now ready to accept connections on port 6379 [32470] 16 Jan 16:45:57.330 - 0 clients connected (0 slaves), 283536 bytes in use
logstash日志生成器(shipper)
1、新建一个配置文件:shipper.conf
,其内容如下:
input { stdin { type => "example" } } output { stdout { codec => rubydebug } redis { host => "127.0.0.1" port => 6379 data_type => "list" key => "logstash" } }
2、启动shipper。执行如下命令:
java -jar logstash-1.3.2-flatjar.jar agent -f shipper.conf
终端窗口将出现如下提示信息:
Using milestone 2 output plugin 'redis'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.3.2/plugin-milestones {:level=>:warn}
然后在终端窗口直接按回车,将出现如下信息:
{ "message" => "", "@version" => "1", "@timestamp" => "2014-01-16T08:15:19.400Z", "type" => "example", "host" => "redhat" }
这个json信息将发送给redis, 同时redis的终端窗口将出现类似下面的提示信息:
[32470] 16 Jan 17:09:23.604 - Accepted 127.0.0.1:44640 [32470] 16 Jan 17:09:27.127 - DB 0: 1 keys (0 volatile) in 4 slots HT. [32470] 16 Jan 17:09:27.127 - 1 clients connected (0 slaves), 304752 bytes in use
logstash日志索引器(indexer)
1、新建一个配置文件:indexer.conf
,其内容如下:
input { redis { host => "127.0.0.1" # these settings should match the output of the agent data_type => "list" key => "logstash" # We use the 'json' codec here because we expect to read # json events from redis. codec => json } } output { stdout { debug => true debug_format => "json"} elasticsearch { host => "127.0.0.1" } }
2、启动日志索引器。执行如下命令:
java -jar logstash-1.3.2-flatjar.jar agent -f indexer.conf
终端窗口将出现如下提示信息:
Using milestone 2 input plugin 'redis'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.3.2/plugin-milestones {:level=>:warn} You are using a deprecated config setting "debug_format" set in stdout. Deprecated settings will continue to work, but are scheduled for removal from logstash in the future. If you have any questions about this, please visit the #logstash channel on freenode irc. {:name=>"debug_format", :plugin=>, :level=>:warn}
索引器从Redis接收到信息,在终端窗口会显示类似如下的信息:
{"message":"","@version":"1","@timestamp":"2014-01-16T17:10:03.831+08:00","type":"example","host":"redhat"}{"message":"","@version":"1","@timestamp":"2014-01-16T17:13:20.545+08:00","type":"example","host":"redhat"}{
logstash WEB界面(kibana)
1、启动kibana。执行如下命令:
java -jar logstash-1.3.2-flatjar.jar web
2、打开浏览器(须支持HTML5
),输入地址:http://127.0.0.1:9292/index.html#/dashboard/file/logstash.json。界面效果如下:
参考资料
相关推荐
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
如何在centos6上安装(openresty + nginx + logstash + kibana + elasticsearch) 一些帮助和启发的链接: 安装openresty 假设机器上已经安装了nginx。 我们想要具有更多模块的nginx的改进版本。 我们需要redis...
Logstash、Elasticsearch 和 Kibana(简称 LEK)的组合提供了一个轻量级且高效的解决方案,用于日志分析、监控以及数据可视化。 Logstash 是一个数据收集引擎,它的主要功能包括收集、过滤和转发各种类型的数据。它...
Logstash+ElasticSearch+Kibana+Redis日志分析和监控工具 注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:...
ELK(Elasticsearch, Logstash, Kibana)日志收集系统是一种广泛使用的日志管理和分析解决方案。它由三个核心组件组成,分别是Elasticsearch(一个强大的分布式搜索引擎),Logstash(一个数据处理管道),以及...
mail:Blog:======ELK集成: Awesant + Logstash + Elasticsearch +Kibana + Nginx + Redis======单机版(Standalone): Logstash-index(收集日志)+ Elasticsearch(索引)+ Kibana(前端) +Nginx(若已安装,...
Heroku日志和ELK(Logstash + Elasticsearch + Kibana)演示 要求: 码头工人 Docker撰写 Docker Machine(如果您未使用Linux) Heroku工具带 观看实际的演示: 首先,启动3个容器(Logstash,Elasticsearch和...
Logstash 负责收集和预处理数据,Elasticsearch 存储并提供快速检索,而 Kibana 则负责数据可视化和交互式分析。对于新手来说,理解并掌握 ELK Stack 的工作原理和配置,能够有效提升日志管理和监控能力。
基于此,我们选择了Kafka作为消息队列组件,Redis作为基于内存的Key-Value引擎,Elasticsearch+Logstash+Kibana作为日志监控子系统。 三、Kafka在系统中的应用 Kafka是一种高吞吐量的消息队列系统,它可以处理大量...
Logstash 是 ELK (Elasticsearch, Logstash, Kibana) 技术栈的关键组成部分,该技术栈广泛应用于日志分析和大数据处理场景。 **Logstash 的核心原理**: 1. **输入(input)**:Logstash 提供了多种输入插件,用于从...
3. **Elasticsearch + Logstash + filebeat + 中间件(如Redis或Kafka)+ Kibana**:在前面架构基础上,增加中间件,确保日志数据的可靠性,即使Logstash出现问题,日志也不会丢失。 **三、搭建ELK+filebeat的步骤*...
Kibana则是一个Web界面,用于展示和交互式分析存储在Elasticsearch中的日志数据。 在Centos7.6环境下搭建ELK日志分析系统,首先确保系统环境满足以下软件版本: - Elasticsearch: 7.9.3 - Logstash: 7.9.3 - Kibana...
- **logback+kafka**: 日志通过logback生成后,经kafka消息队列传递到Logstash,Logstash再将处理后的日志存储到Elasticsearch,最后通过Kibana进行分析。 - **Logstash直接读取日志文件**:Logstash直接从日志文件...
在这个项目中,我们将构建一个基于ELK (Elasticsearch, Logstash, Kibana)的海量日志分析平台,并结合Filebeat和Redis来处理和存储大量服务器日志。以下是各个组件的功能和部署步骤的详细说明: 1. **Filebeat**: ...
这是一个带有简单配置的elk仓库,已经为elasticsearch安装了一些需要用到的插件,并带有一个以redis为input的logstash配置,可用于快速创建、测试、部署elk。 各组件版本 elasticsearch: 1.4.4 logstash: 1.5.0 ...
Logstash 是一个建立在 elasticsearch 之上的日志索引器。 它聚合来自多个来源的日志,并允许您使用来查询它们。 Logstash 建立在 elasticsearch 之上,可让您的数据轻松扩展。 如果空间不足,只需向集群添加一个...
4.ElasticSearch+Logstash+ Kibana日志分析框架 5.Redis,Mongo等NOSQL数据库,以及监控 6.Git+Jenkins运用 7.Docker运用 8.Open-Falcon运维架构监控 9.使用Nexus配置Maven私有仓库 10.Dubbo运用 11.等等好多主流技术...
Elasticsearch、Kibana和Logstash构成了著名的ELK Stack(现称为Elastic Stack),它们之间紧密协作,共同构建了一个完整的日志数据收集、存储、搜索和可视化平台。 - **数据收集**:Logstash负责从各种数据源收集...
6. **ELK日志处理**: ELK Stack(Elasticsearch, Logstash, Kibana)是一套强大的日志管理和分析工具,能够实时收集、解析和展示各种日志数据,对系统监控和故障排查非常有帮助。 7. **Varnish缓存**: Varnish作为...
Elasticsearch ELK 堆栈(Elasticsearch、Logstash、Kibana 作为前端和 Redis)的 loganalytic 环境的配置,并获得一个环境来验证新的 logstash 配置以用于几乎生产中的日志文件解析环境。 该项目包括一个作为典型...