MapReduce运行日志收集

MapReduce运行产生的日志分散在各个DataNode上，调试起来非常的麻烦，大家有什么好的方法将这些日志收集起来，统一分析的吗？

共享一下想法
Hadoop各个DataNode都持有在当前机器上执行的map，reduce任务的日志。

log4j的TLA定义了这些日志的位置，使用SocketAppender重写TLA可以将多个结点的日志打印到某一个机器上。但是这种方法有缺点，当日志变多的时候，SocketAppender并不太稳定，且具有单点故障问题。

使用Chukwa收集这些日志也是可行的，在每一个DataNode上开启一个agent，agent监控Mapreduce任务产生日志的文件夹，收集Mapreduce的日志，将这些日志发往collector，集中存储到HDFS上。