LogStash日志收集系统调研(一)---初识LogStash

项目准备做日志统一收集分析系统，于是开始研究LogStash，坛子上已经有不少LogStash的文档了，我还是决定先把自己的东西简单总结下。

首先说下项目的背景：我们有1000多服务器，20多种日志，日志类型及格式也都各式各样。日志的统一管理是势在必行的。

LogStash一般都是搭配Redis(缓存)、ElasticSearch(存储、搜索)、Kibana(界面展示)。目前LogStash已经内置了ES和Kibana。

不过elasticSearch有性能压力，需要做集群部署，建议单独搭建。Kibana可以直接用LogStash内置的。

 

LogStash基本介绍就不再多说了，直接上架构图(图片是转过来的)：

 

 

具体的效果图及配置详细说明等下篇再论，说下个人的用后感吧：

直观优点：    

      安装部署确实非常简单，功能上从统一收集来说比较有用。

 

问题：

      1. 日志展示界面看的不够清爽，而且Kibana定制困难(我对js不了解，目前logstash的论坛中也米有对界面定制的讨论)

      2. 搜索功能虽然比较强大，但是有时候就是搜不出来

      3. 汉化(我自己当然是不需要，主要是我对日志格式通过grok做了处理，加了很多字段，如果不汉化的话，别人很难理解字段含义)

      4. 问题分析(logstash有时候出现日志收集不了的情况，但是其本身的日志看不出任何问题，只能重启)

      5. 性能问题(还没开始测试，估计会有的，中文论坛上没人讨论性能问题)

 

目前LogStash貌似并不是很普及，很多论坛都是讲最基本的用法，如果有大神的话欢迎来讨论。