4.Logstash 入门教程-数据处理流程

4.Logstash 入门教程-数据处理流程

LS的处理流程分三个阶段：inputs->Filters-> Outputs.

input：产生事件，filter：修改事件，output：输出事件。

在Input，Output阶段支持codecs解编码器，这样就不用在数据输入和输出的位置配置独立的Filter了。

 

Input输入配置：

常用的有

File

syslog

redis

lumberjack

当然还有很多其他的啦，如ActiveMQ Kafak hdfs等....

 

Filters过滤配置:

在LS中属于独立的处理流程。可以通过条件拼接过个Filter。

一些非常有用的Filter：

grok：

mutate：

drop：

clone：

geoip：

 

Outputs输出配置：

处理流程的最后一部分，一个事件可以经过多个Filter，Output完成后，事件生命周期结束。

 

常用的有：

elasticsearch

file

graphite

statsd

 

 

Codecs解编码：

常用的包含:

JSON

msgpack

plain

Multiline