Flume使用总结

 

故障解决总结：

某flume问题总结：

不论怎么折腾都不sink写入HDFS和本地磁盘 

解决方法：

修改HDFS路径、折腾一下,然后还原线上配置，就可以正常写入HDFS和本地磁盘了，虽然看似奇怪，但是以后再遇到这种问题一定要折腾一下HDFS路径然后还原路径。

 

 

补数方法：

flume数据采集到HDFS完毕后需要手动执行脚本去补数(HDFS->hive ods表)

vi   testbushu.sh

for((w=1;w<=10;w++));
do

if [ -z "$1" ];
then 
ydate=`date -d "-${w} day" "+%Y%m%d"` 
else 
ydate=$1 ydate=`date -d "$ydate" "+%Y%m%d"` 
fi

.........................老脚本的执行逻辑...........................

done

 

 

某Flume故障解决：

故障描述：

flume采集不到RocketMQ数据，也不报错，RocketMQ消息过不来,Flume启动正常，假死状态。

解决办法：

折腾RocketMQ的namesrvAddr配置，在IP端口后边添加;111 随机字符串，然后保存配置文件，启动Flume,RocketMQ消息就过来了，然后kill-9 pid、还原namesrvAddr的配置重新启动。

agent_gome_live3.sources.source3.namesrvAddr=11.58.22.191:9876;11.58.50.112:9876;111

 

添加Flume监控：

启动脚本: vi gzztest.sh

nohup ./bin/flume-ng agent -n agent_vshop -c /home/flume/flume1.6/conf/ -f /home/flume/flume1.6/conf/flume-conf-test.properties -Dflume

 

.log.file=test.log -Dflume.monitoring.type=http -Dflume.monitoring.port=10210 >> ./logs/test.log 2>&1 &

 

建议启动脚本放到跟bin并行目录 方便启动监控

 

http://10.112.182.11:10210/metrics 进行监控

 

crontab -l

 

#自启动监控脚本

 

*/10 * * * * sh /home/flume_monitor.sh > /home/flume/monitor/flume_monitor.log 2>&1

 

flumepid1=$(ps -ef | grep flume | grep Dflume.monitoring.type=http | grep Dflume.monitoring.port=12100 | awk '{print $2}')

 

if [ -z $flumepid1 ]

 

then 

 

    echo "error:"$flumepid1

 

    cd /home/flume/apache-flume-1.6.0-bin

 

    /home/flume/apache-flume-1.6.0-bin/bin/flume-ng agent -n agent_kafka -c /home/flume/apache-flume-1.6.0-bin/conf/ -f /home/flume/apache-flume-1.6.0-bin/conf/test.properties -Dflume.log.file=test.log -Dflume.monitoring.type=http -Dflume.monitoring.port=12100 2>&1 &

 

    result=${result}"\tagent_name:agent_test"

else 

    echo "kafka_video correct:"$flumepid1 

fi