`

30天了解30种技术系列(18)--- 强大的日志管理工具--Logstash

阅读更多

   

   日志管理:一直是IT管理的一个非常重要的模块,我们有非常多的日志采集工具,例如:Flume,本期咱们要介绍的是Logstash。(大数据里面经常要处理的就是日志)

 

   Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。我们可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。目前比较新的版本是1.5.2。

  

  Logstash目前是ElasticSearch家族的一员,集搜索、可视化于一身。

 

  Logstash结构如下:

  

 

   所以从图中,大家可以到Redis是该系统的一个缓存(所以构建Redis集群的重要性会出现),数据通过Logstash的Indexer 将索引键入到ElasticSearch。

   

   一般上来讲,Logstash的性能可以做到2万/s,

   Logstash使用Ruby作为开发语言,所以大家需要二次开发的话,需要用Ruby。

 

  本身来讲Logstash主要是有完整的生态系统(相比与其他生态系统),性能也还ok,大家可以尝试。

 

4
6
分享到:
评论

相关推荐

    简单的日志文件收集功能

    - **Logstash**:由 Elastic 公司开发,强大的日志管理和分析工具,集日志收集、处理、存储于一身。 - **Sentry**:专注于错误跟踪,适用于Web应用。 - **Graylog**:提供全面的日志管理和分析平台,支持大规模...

    日志文件生成

    7. **日志工具**: - Python中的`logging`库提供了丰富的功能,如配置日志级别、处理器和格式器。 - 在其他编程语言中也有类似工具,如Java的log4j,JavaScript的winston,PHP的Monolog等。 8. **日志存储与分析*...

    甲方安全看日志消息在ELK中的流转.pdf

    ELK(Elasticsearch, Logstash, Kibana)作为一套强大的日志处理和可视化工具,被广泛应用在甲方安全监控中。本文将深入探讨日志在ELK中的流转过程以及相关的安全措施。 一、日志的用途与处理工具 日志是系统运行...

    Tomcat输出catalina.out的大小控制

    如果需要更高级的日志管理和分析功能,可以考虑使用如Logstash、Fluentd或ELK Stack(Elasticsearch、Logstash、Kibana)等工具,它们能提供更强大的日志收集、处理和可视化能力。 总之,控制`catalina.out`的大小...

    ansible-role-elasticsearch-curator:Ansible角色-Elasticsearch馆长

    **EFK (Elasticsearch, Fluentd, Kibana)** 是另一种日志管理栈,其中Fluentd替代了Logstash,作为日志收集和转发工具。它同样与Elasticsearch和Kibana集成,提供日志处理和可视化的解决方案。 在`ansible-role-...

    推荐16个免费开源的商业智能工具

    有14天和30天的免费试用期。 6. **JasperReports Server**:JasperReports Server可创建实时或预定的报表,并可嵌入到Web和移动应用中。它也有一个开源版本,支持其商业BI平台。 7. **KNIME**:KNIME是数据分析...

    elasticsearch_tutorial:一个基于示例的,充满动作的ElasticSearch教程

    Logstash是一个数据收集和处理工具,常与Elasticsearch和Kibana一起使用,形成ELK(Elasticsearch, Logstash, Kibana)堆栈,用于日志管理和分析。 通过这个基于示例的教程,你将能够对Elasticsearch有深入的理解,...

Global site tag (gtag.js) - Google Analytics