初识ELK

在开源的日志管理方案中，最出名的莫过于 ELK 了。ELK 是三个软件的合称：Elasticsearch、Logstash、Kibana。

Elasticsearch
一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是要能够处理和搜索巨量的日志数据。

Logstash
读取原始日志，并对其进行分析和过滤，然后将其转发给其他组件（比如 Elasticsearch）进行索引或存储。Logstash 支持丰富的 Input 和 Output 类型，能够处理各种应用的日志。

Kibana
一个基于 JavaScript 的 Web 图形界面程序，专门用于可视化 Elasticsearch 的数据。Kibana 能够查询 Elasticsearch 并通过丰富的图表展示结果。用户可以创建 Dashboard 来监控系统的日志。

本节将讨论如何用 ELK 这组黄金搭档来监控 Docker 容器的日志。

 

流程类似于：

应用日志---》logstash--》elasticsearch--》kibana

Logstash 负责从各个 源头提取日志，Logstash将日志转发到 Elasticsearch 进行索引和保存，Kibana 分析和可视化数据。

 

实际中，因为高访问量，应用日志的写入速度会非常快，logstash如果直接操作应用日志，就会产生logstash和应用访问冲突的问题，或者说因为访问共同的日志文件引起性能问题。这个时候就需要解耦。kafka是一个不错的选择，因为kafka是一个分布式的消息队列系统。使得生产者和消费者分离