大数据（三）-----flume安装应用

1.安装规划

  见大数据（一）-----HADOOP安装

2.安装flume

• 将flume安装在目录/home/hadoop/apache-flume-1.7.0-bin下，并配置环境变量

export FLUME_HOME=/home/hadoop/apache-flume-1.7.0-bin

•  配置conf目录下flume-hdfs.conf文件，包括agent，sink，channel

• 最近在部署FLUME监控日志tomcat日志文件到hadoop的hdfs，发现了一个奇怪的问题：flume使用exec方式监控tomcat单个日志文件，如果tomcat的日志文件按照天进行滚动的话，比如今天的日志为catalina.2017-08-05.out 那么过了今天，tomcat的日志文件变为了catalina.2017-08-06.out，但是flume监控配置并不能感知到tomcat日志的切换，监控的还是上一天的日志。

• 原来的flume的配置如下：

agent1.sources.s2.command = tail -n +0 -F "/home/gome_guest/10.58.61.83/cashier-service_02/logs/catalina.`date +%Y-%m-%d`.out"

•  更改后的配置为：

 agent1.sources.s2.command = locktail_rotate.sh /home/gome_guest/10.58.61.83/cashier-service_02/logs/catalina.DATE_ROTATE.out 'date +"%Y-%m-%d"'

 

       其中 locktail_rotate.sh 参见 https://github.com/ypenglyn/locktail/blob/master/locktail_rotate.sh