在测试flume和spark push模式时的问题

写道

#push mode
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#source
a1.sources.r1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /export/logs/test.txt
a1.sources.r1.fileHeader = true


#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000


#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname=172.16.7.165
a1.sinks.k1.port = 9999
a1.sinks.k1.batchSize= 2000

 flume配置文件配置成这样了，其中tail -f 配成了小f，结果只能在服务启动时推过来一次数据，然后经高个人指教，原来f F 是不一样的

tail -f     等同于--follow=descriptor，根据文件描述符进行追踪，当文件改名或被删除，追踪停止

 

tail -F    等同于--follow=name  --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪

 

tailf       等同于tail -f -n 10（貌似tail -f或-F默认也是打印最后10行，然后追踪文件），与tail -f不同的是，如果文件不增长，它不会去访问磁盘文件，所以tailf特别适合那些便携机上跟踪日志文件，因为它减少了磁盘访问，可以省电

 

 

改成F就没问题了

写道

flume-ng agent -n a1 -c /export/servers/apache-flume-1.6.0-bin/conf -f /export/servers/apache-flume-1.6.0-bin/conf/flume-poll-spark1.conf -Dflume.root.logger=INFO,console