ELK学习笔记(二)【原创】

在ELK学习笔记(一)【原创】中，介绍了Logstash的入门，本文再对Logstash进行分析，并将日志导入ES中。
1. input
   input 有很多种， 如stdin, file, log4j 等。这里只着重分析file, 下次在分析log4j.
  

input{
  file {
		codec => multiline {
			 pattern => "^\["
			 negate => true
			 what => "previous"
			 charset => "UTF-8"		
		}
    path => ["/usr/local/apache-tomcat-gtw/logs/catalina.*"]
    start_position => "beginning"
    discover_interval => 2
    sincedb_path => "/usr/share/logstash/conf/logstash_gateway/config/tomcat_sincedb.txt"
		sincedb_write_interval => 2
  }
}

  codec 使用多行模式分割日志
  path  日志路径
  start_position  表示从头开始
  discover_interval  每两秒去扫描文件夹是否有日志文件变化
  sincedb_path  记录日志读取到第几行
  sincedb_write_interval  每两秒记录一次位置信息

2. filter
  上一篇中在filter中主要采用split对日志进行解析， 这一篇主要采用json模板来进行匹配。
 

filter {
   mutate{  
        gsub => [ "message", "\[", "" ]  
        gsub => [ "message", "]", "" ]  
        remove_field => [ "@version" ] 
   }
   grok {
       	patterns_dir => "/usr/share/logstash/conf/logstash_gateway/logstash-patterns"
       	match => {
			"message" => "%{DATETIME:datetime} %{APP:app} %{LOGLEVEL:level} %{JAVACLASS:class} %{METHOD:method}"
		}
	}
	if [level] == 'DEBUG' {
                mutate {
                        replace => ["level_code",1000]
			convert => { 
				"level_code" => "integer" 
			}
                }
        }
	if [level] == 'INFO' {
		mutate {
			replace => ["level_code",2000]
			convert => { 
				"level_code" => "integer" 
			}
		}
	}
	if [level] == 'WARN' {
                mutate {
                        replace => ["level_code",3000]
			convert => { 
				"level_code" => "integer" 
			}            
                }               
        }    
	if [level] == 'ERROR' {
                mutate {
                        replace => ["level_code",4000]  
			convert => { 
				"level_code" => "integer" 
			}                
                }               
        }    
}

  gsub 是对message中的[]进行替换，因为[是用来多行匹配的，在日志中实际没作用。
  remove_field 移除不需要的字段 @Version字段是logstash自动加的，不需要
  grok 采用正则对日志进行匹配
  patterns_dir 正则表达式文件路径
  %{DATETIME:datetime} 表示第一个字段是时间类型,转化为datetime field。
  %{APP:app} 表示第二个字段是APP类型（自定义正则）,转化为app field. 以下类推
  后面是根据日志级别，定义level_code以便报表统计
 
3.output
  分别输出到ES和控制台

output {
	elasticsearch {
      		hosts => ["192.168.3.140"]
		index => "gateway"
		template => '/usr/share/logstash/conf/logstash_gateway/template/logstash-gateway.json'
		template_name => 'logstash-gateway'
		template_overwrite => true
		flush_size => 20000
                idle_flush_time => 10
   	}
	stdout{
		codec => rubydebug
		codec => plain{charset=>"UTF-8"}
	}
}

  hosts 搜索引擎地址
  index 索引名称
  template 模板文件
  template_name 模板文件中的模板名称
  template_overwrite 设为true,当模板变更时可以更新
  flush_size 每次20000再新增索引
  idle_flush_time  超过10s，如果还没到达20000也刷新索引