logstash

Logstash
   官方文档地址：http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash

logstash介绍参考自：
http://www.infoq.com/cn/articles/review-the-logstash-book
http://storysky.blog.51cto.com/628458/1158707/

What it is ：Jruby编写的开源日志管理项目

Why use it:  LogStash架构专为收集、分析和存储日志所设计。

组合使用：
LogStash使用一个开源Key/Value数据库Redis，用于在索引前队列化日志。同时还使用Elasticsearch索引化、存储日志，并作为查看系统的后端，使用kibana作为页面前端显示。





注：
Redis不做存储（keys * 没有缓存信息）
Elasticsearch会做索引并且本地存储，所以即使关闭elasticsearch，如果没有清空存储的话，下次启动还是会有原来的日志信息的。
Logstash 默认是从启动之后开始读取日志信息，即如果读取的日志文件中有之前的日志（但是在logstash启动之前的，logstash是不做读取的）。如果logstash在启动之后停止了，之后启动时停止期间的日志也是不会被读取的。
Elasticsearch 清理索引信息：http://storysky.blog.51cto.com/628458/1179906


开始：
1、安装
2、编写配置文件
3、组合redis、elasticsearch


安装：
   curl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
tar zxvf logstash-1.4.2.tar.gz

logstash是开箱即用的软件，类似于windows上的免安装的绿色版本。


Logstash解压缩之后的目录结构


命令行输如入/出测试：

 bin/logstash -e 'input { stdin { } } output { stdout {} }'

stdin ：命令行参数输入
stdout：命令行输出。
-e默认以后面给定字符作为配置（不启用.conf的配置文件）

详细安装启动过程参考：http://storysky.blog.51cto.com/628458/1158707/ 

ps:  最新版本的logstash中是默认内置了kibana和elasticsearch的
Elasticsearch
ElasticSearch 是构建在Apache Lucene之上的的搜索引擎服务，开源（Apache2协议），分布式，提供RESTful风格支持。
http://www.nosqldb.cn/1368777378160.html

Logstash命令行默认参数



特殊案例说明:
1、删除全部日志文件之后是否还能够保存数据
logstash不提供存储功能，redis只做队列处理，不做缓存，elasticsearch做索引、本地持久化处理，因此，只要elasticsearch未停止，日志信息是不会丢失的。
elasticsearch提供了清理索引的接口：
# curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*'
清理掉了所有 3月份的索引文件
主页上的详细介绍， http://www.elasticsearch.org/guide/reference/api/delete/

2、logstash重启之后是否能够保存数据
logstash重启之后，停止期间的日志信息是不会读取的。
      

http://chenryn.gitbooks.io/logstash-best-practice/
https://github.com/chenryn/logstash-best-practice-cn
In the end. 谢谢我的同事伟航，帮助的整理。