`

LogStash日志收集系统调研(二)---LogStash Shipper&Indexer

 
阅读更多

LogStash自身没有什么角色,只是根据不同的功能、不同的配置给出不同的称呼而已。

 

Shipper主要是安装在需要收集的日志服务器上,其input为实际的日志源,output一般来说都是redis(你要是不想用redis做缓存也可以用其他的)

Indexer则是单独部署(可以集群),其input是redis(shipper的output),output则是elasticSearch搜索引擎。

 

logstash虽然是ruby语言写的,但是需要运行在JVM上,说白了logstash仍然是一个java进程,需要占用JVM内存。

由于logstash shipper是需要安装在日志所在的服务器上的。

如果日志所在的服务器不能安装JAVA(或者人家不想、不允许安装),又或者说日志所在的服务器软件本身对JVM的需求比较高,不再允许其他java进程来分享JVM内存,那怎么办呢?

 

官网上给出了很多其他的工具来shipper log。

 

其中介绍的最多的是lumberjack(现在叫logstash-forward),加密传输,但是不能支持redis做缓存,并且input好像只支持file类型的。

分享到:
评论

相关推荐

    rpm离线安装logstash-6.2.4和logstash-output-jdbc插件

    centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件

    logstash-input-cloudwatch-logs, Logstash的输入插件,用于从CloudWatch日志流事件.zip

    logstash-input-cloudwatch-logs, Logstash的输入插件,用于从CloudWatch日志流事件 用于CloudWatch日志的 Logstash输入 来自CloudWatch日志的流事件。命令行目指定单个日志组或者组 array,这里插件将扫描该组中的...

    logstash-output-jdbc.zip

    logstash离线安装插件步骤: 在一个联网的虚拟机上下载好插件 ./logstash-plugin install logstash-input-jdbc 查看插件是否安装 ./logstash-plugin list 打包下载好的插件(可能会有错误;多试几次) ./...

    最新版linux logstash-8.5.0-linux-x86-64.tar.gz

    Logstash 是一个强大的开源数据收集、处理和转发引擎,它属于 Elastic Stack(以前称为 ELK Stack,包括 Elasticsearch、Logstash 和 Kibana)的一部分。在Linux环境中,Logstash被广泛用于日志管理和分析,能够从...

    logstash-output-clickhouse-0.1.0.gem

    logstash-7.12.1 output-clickhouse 插件已经编译好了,logstash-7.12.1解压,直接logstash-plugin install logstash-output-clickhouse-0.1.0.gem 安装 懂的人,不需要过多解释,直接下载安装开干

    logstash-7.17.7-windows-x86-64.zip

    Logstash 是一个强大的开源数据收集、处理和转发引擎,由 Elastic 公司开发,用于实时地从各种数据源中抽取数据,转换数据,并将其加载到指定的目的地,如 Elasticsearch、Kibana 或其他存储系统。它在大数据和日志...

    最新版linux logstash-7.12.1-linux-x86_64.tar.gz

    Linux Logstash是一款强大的数据收集、处理和转发工具,广泛应用于日志管理和监控系统中。它属于Elastic Stack(以前称为ELK Stack)的一部分,与Elasticsearch和Kibana一起,构建了一个完整的日志分析解决方案。...

    最新版linux logstash-8.10.0-linux-x86-64.tar.gz

    最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz

    Logstash日志管理系统 v7.11.1-源码.zip

    Logstash是一款广泛应用于日志管理系统的开源工具,它在IT领域中扮演着数据收集、处理和转发的重要角色。Logstash v7.11.1的源码版本为开发者提供了深入理解其工作原理和定制功能的机会。这个压缩包包含了Logstash的...

    logstash-7.17.5-windows-x86_64.zip

    Logstash 是一个强大的开源数据收集、处理和转发引擎,由 Elastic 公司开发,广泛应用于日志管理和实时数据管道建设。这个压缩包“logstash-7.17.5-windows-x86_64.zip”包含了 Logstash 的 Windows 64 位版本,允许...

    logstash-input-mongodb离线包

    解压后使用,版本:logstash-input-mongodb-0.4.1 logstash离线包安装命令: Windows:logstash-plugin install file:///D:/logstash-7.5.0/logstash-input-mongodb/logstash-input-mongodb-0.4.1.zip Linux:...

    最新版linux logstash-7.13.2-linux-x86_64.tar.gz

    Logstash 是一个强大的开源数据收集、转换和分发工具,广泛应用于日志管理和实时数据分析领域。这个最新的版本 "logstash-7.13.2-linux-x86_64.tar.gz" 是专为Linux系统设计的64位版本,旨在提供高效的数据处理能力...

    logstash-7.10.2-linux-x86-64.tar文件(分享给需要的同学)

    logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2...

    最新版linux logstash-7.15.2-linux-x86_64.tar.gz

    Linux Logstash 7.15.2 是一个强大的开源数据收集、处理和转发工具,尤其在日志管理和分析领域有着广泛的应用。这个版本是专为64位Linux系统设计的,确保了在现代硬件上的高效运行。让我们深入探讨Logstash的功能、...

    最新版windows logstash-7.10.0-windows-x86_64.zip

    Logstash 是一个开源的数据收集和传输工具,广泛用于日志管理和大数据分析的生态系统中。它遵循“收集、处理、存储”的工作模式,能够从各种数据源接收数据,对其进行过滤、转换,并将处理后的数据发送到各种目标,...

    logstash-filter-geoip-cn.zip

    Logstash 是一个强大的数据收集、处理和转发工具,广泛用于日志管理和实时分析系统中。在Logstash中,filter模块负责对输入的数据进行各种转换和处理,以满足特定的需求。"logstash-filter-geoip-cn.zip" 文件显然是...

    最新版linux logstash-8.5.2-linux-x86-64.tar.gz

    1. 监控系统日志:Logstash可以集成到整个系统监控中,收集和分析不同服务的日志,提供实时报警和故障排查。 2. 数据集成:通过自定义插件或利用现有插件,Logstash可以将不同来源的数据整合到一个统一的平台,便于...

    最新版linux logstash-7.12.0-linux-x86_64.tar.gz

    总的来说,Linux Logstash 7.12.0是日志管理和监控的关键工具,通过其灵活的配置和丰富的插件生态系统,能够适应各种复杂的日志收集和分析场景。无论是在企业级运维、故障排查还是大数据分析中,它都发挥着至关重要...

    最新版linux logstash-8.8.0-linux-x86-64.tar.gz

    最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz

    logstash-output-loki.zip

    Logstash 是一个强大的数据收集、处理和转发工具,广泛用于日志管理和监控系统。Loki 是 Grafana Labs 推出的一款轻量级的日志聚合系统,设计目标是为 Kubernetes 和微服务架构提供高效的日志管理解决方案。`...

Global site tag (gtag.js) - Google Analytics