`

LogStash日志收集系统调研(二)---LogStash Shipper&Indexer

 
阅读更多

LogStash自身没有什么角色,只是根据不同的功能、不同的配置给出不同的称呼而已。

 

Shipper主要是安装在需要收集的日志服务器上,其input为实际的日志源,output一般来说都是redis(你要是不想用redis做缓存也可以用其他的)

Indexer则是单独部署(可以集群),其input是redis(shipper的output),output则是elasticSearch搜索引擎。

 

logstash虽然是ruby语言写的,但是需要运行在JVM上,说白了logstash仍然是一个java进程,需要占用JVM内存。

由于logstash shipper是需要安装在日志所在的服务器上的。

如果日志所在的服务器不能安装JAVA(或者人家不想、不允许安装),又或者说日志所在的服务器软件本身对JVM的需求比较高,不再允许其他java进程来分享JVM内存,那怎么办呢?

 

官网上给出了很多其他的工具来shipper log。

 

其中介绍的最多的是lumberjack(现在叫logstash-forward),加密传输,但是不能支持redis做缓存,并且input好像只支持file类型的。

分享到:
评论

相关推荐

    rpm离线安装logstash-6.2.4和logstash-output-jdbc插件

    centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件

    logstash-input-cloudwatch-logs, Logstash的输入插件,用于从CloudWatch日志流事件.zip

    logstash-input-cloudwatch-logs, Logstash的输入插件,用于从CloudWatch日志流事件 用于CloudWatch日志的 Logstash输入 来自CloudWatch日志的流事件。命令行目指定单个日志组或者组 array,这里插件将扫描该组中的...

    logstash-output-jdbc.zip

    logstash离线安装插件步骤: 在一个联网的虚拟机上下载好插件 ./logstash-plugin install logstash-input-jdbc 查看插件是否安装 ./logstash-plugin list 打包下载好的插件(可能会有错误;多试几次) ./...

    logstash-output-clickhouse-0.1.0.gem

    logstash-7.12.1 output-clickhouse 插件已经编译好了,logstash-7.12.1解压,直接logstash-plugin install logstash-output-clickhouse-0.1.0.gem 安装 懂的人,不需要过多解释,直接下载安装开干

    logstash-7.17.5-windows-x86_64.zip

    Logstash 是一个强大的开源数据收集、处理和转发引擎,由 Elastic 公司开发,广泛应用于日志管理和实时数据管道建设。这个压缩包“logstash-7.17.5-windows-x86_64.zip”包含了 Logstash 的 Windows 64 位版本,允许...

    最新版linux logstash-8.10.0-linux-x86-64.tar.gz

    最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz最新版linux logstash-8.10.0-linux-x86_64.tar.gz

    Logstash日志管理系统 v7.11.1-源码.zip

    Logstash是一款广泛应用于日志管理系统的开源工具,它在IT领域中扮演着数据收集、处理和转发的重要角色。Logstash v7.11.1的源码版本为开发者提供了深入理解其工作原理和定制功能的机会。这个压缩包包含了Logstash的...

    最新版linux logstash-8.5.0-linux-x86-64.tar.gz

    Logstash 是一个强大的开源数据收集、处理和转发引擎,它属于 Elastic Stack(以前称为 ELK Stack,包括 Elasticsearch、Logstash 和 Kibana)的一部分。在Linux环境中,Logstash被广泛用于日志管理和分析,能够从...

    logstash-input-mongodb离线包

    解压后使用,版本:logstash-input-mongodb-0.4.1 logstash离线包安装命令: Windows:logstash-plugin install file:///D:/logstash-7.5.0/logstash-input-mongodb/logstash-input-mongodb-0.4.1.zip Linux:...

    logstash-7.10.2-linux-x86-64.tar文件(分享给需要的同学)

    logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2...

    最新版linux logstash-7.15.2-linux-x86_64.tar.gz

    Linux Logstash 7.15.2 是一个强大的开源数据收集、处理和转发工具,尤其在日志管理和分析领域有着广泛的应用。这个版本是专为64位Linux系统设计的,确保了在现代硬件上的高效运行。让我们深入探讨Logstash的功能、...

    最新版windows logstash-7.10.0-windows-x86_64.zip

    Logstash 是一个开源的数据收集和传输工具,广泛用于日志管理和大数据分析的生态系统中。它遵循“收集、处理、存储”的工作模式,能够从各种数据源接收数据,对其进行过滤、转换,并将处理后的数据发送到各种目标,...

    logstash-filter-geoip-cn.zip

    Logstash 是一个强大的数据收集、处理和转发工具,广泛用于日志管理和实时分析系统中。在Logstash中,filter模块负责对输入的数据进行各种转换和处理,以满足特定的需求。"logstash-filter-geoip-cn.zip" 文件显然是...

    最新版linux logstash-7.10.0-linux-x86_64.tar.gz

    Linux Logstash 7.10.0 是一个强大的开源数据收集和处理引擎,它属于 Elastic Stack(也称为 ELK Stack,包括 Elasticsearch、Logstash 和 Kibana)的一部分。这个版本的 Logstash 针对 Linux x86_64 架构进行了优化...

    最新版linux logstash-8.8.0-linux-x86-64.tar.gz

    最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz最新版linux logstash-8.8.0-linux-x86_64.tar.gz

    最新版linux logstash-7.12.1-linux-x86_64.tar.gz

    Linux Logstash是一款强大的数据收集、处理和转发工具,广泛应用于日志管理和监控系统中。它属于Elastic Stack(以前称为ELK Stack)的一部分,与Elasticsearch和Kibana一起,构建了一个完整的日志分析解决方案。...

    logstash-7.12.0-output-clickhouse.rar

    为了将Logstash收集的数据存储到Clickhouse,我们需要使用Logstash的输出插件。在Logstash 7.12.0版本中,可以利用第三方插件logstash-output-clickhouse实现这一功能。该插件允许Logstash直接将数据写入Clickhouse...

    最新版linux logstash-7.12.0-linux-x86_64.tar.gz

    总的来说,Linux Logstash 7.12.0是日志管理和监控的关键工具,通过其灵活的配置和丰富的插件生态系统,能够适应各种复杂的日志收集和分析场景。无论是在企业级运维、故障排查还是大数据分析中,它都发挥着至关重要...

    logstash-8.15.3-windows-x86-64

    logstash-8.15.3-windows-x86_64

    最新版linux logstash-7.16.1-linux-x86_64.tar.gz

    Logstash 是一个强大的开源数据收集、转换和分发工具,广泛应用于日志管理和实时数据分析场景。这个最新的Linux版本,logstash-7.16.1-linux-x86_64.tar.gz,是专为64位Linux系统设计的,旨在提供高效的数据处理能力...

Global site tag (gtag.js) - Google Analytics