log4j日志异步化大幅提升系统性能

经过大型J2EE项目实测，Log4j的日志输出对系统性能有比较显著的影响，尤其是日志输入量比较大时，例如：系统并发量很大，显示Hibernate的sql和参数日志，或日志级别较低DEBUG或INFO时等。

使用Async Logger控制日志输出可以显著改善系统性能。

 

 

1） 测试用例：同步文件日志输出

       测试功能：模块管理功能，

       输出Hibernate SQL和参数，输出到文件，配置如下：

       <appender name="Hibernate_SQL" class="org.apache.log4j.DailyRollingFileAppender">

              <param name="File" value="log/Hibernate_SQL.log" />

              <param name="Append" value="true" />

              <param name="DatePattern" value="'.'yyyy-MM-dd-HH" />

              <layout class="org.apache.log4j.PatternLayout">

                     <param name="ConversionPattern" value="%d [%-5p](%C,%L) - %m%n" />

              </layout>

       </appender>

      

       <category name="org.hibernate.SQL">

              <priority value="TRACE" />        

              <appender-ref ref="Hibernate_SQL" />

       </category>

       <category name="org.hibernate.type">

              <priority value="TRACE" />        

              <appender-ref ref="Hibernate_SQL" />

       </category>

       运用JMeter进行压力测试，线程数50，运行4次，计算请求平均响应值（Rame-up Period: 1， 循环次数：1）

 

测试结果：AVG: 12565ms

 

    2） 测试用例：异步文件日志输出

       Log4j.xml 配置修改如下：

    <appender name="ASYNC_Hibernate_SQL" class="org.apache.log4j.AsyncAppender">   

     <param name="BufferSize" value="512"/>   

     <appender-ref ref="Hibernate_SQL"/>

   </appender>

   

    <category name="org.hibernate.SQL">

        <priority value="TRACE" />     

        <appender-ref ref="ASYNC_Hibernate_SQL" />

    </category>

   

    <category name="org.hibernate.type">

        <priority value="TRACE" />     

        <appender-ref ref="ASYNC_Hibernate_SQL" />

    </category>

   

    在BufferSize为 32， 64，128，256，512，2048时测试的请求平均耗时，及较测试用例1中的性能提高率对比如下所示：

同步，异步日志性能对比分析	（每次50并发，运行4次）
sync 日志输出	原时间消耗
	12565
async 日志输出
缓冲区大小	平均耗时	性能提高率
32	6744	46.33%
64	8487	32.46%
128	6899	45.09%
256	6606	47.43%
512	7306	41.85%
2048	3406	72.89%

 

    从结果可以看出，性能提高率最高 47%。最低32%。缓冲为256时性能改善最佳， 提高47%

   

结论：使用Log4j的J2EE应用，日志的优化对系统性能有显著影响：

     1）尽量减少不必要的日志输出，尤其要避免 root logger上过低级别的输出，避免在生产环境上向控制台输出日志。例如，下面的配置是很影响性能的，：

    <root>

        <priority value="DEBUG" /> 

        <appender-ref ref="CONSOLE" >  

    </root>

    2） 使用Async logger输出日志，buffersize在相应日志频率下，越大越好，对于大型项目，可以选2048以上值。

评论

19 楼 Lee_Anson 2012-12-11  

两篇文章一模一样，楼主非原创http://blog.csdn.net/henryqqq/article/details/2254355

18 楼 littcai 2009-02-25  

我也是测试过的log4j-1.2.14.jar，JDK1.4.2+
上面给出的地址是因为网上现成的，log4j-1.2.14中这个报告已经没有了。
在java.io的源码，输出流在写的时候每次都是同步的。其实就是看具体写日志的那步操作耗时是否大于用异步+缓存的方式来存储日志

17 楼 raymond2006k 2009-02-19  

littcai 写道

http://www.ingrid.org/jajakarta/log4j/jakarta-log4j-1.1.3/docs/api/org/apache/log4j/performance/Logging.html

log4j本身的测试数据，Async并没有获得性能提升

本文是我经过实际测试的结果，基于 log4j 1.2.8.jar, jdk1.4.2+.
我注意到这个报告是  log4j1.1.3版本，jdk 1.3.

littcai 也可以自己实际测试一番。

16 楼 littcai 2009-01-14  

http://www.ingrid.org/jajakarta/log4j/jakarta-log4j-1.1.3/docs/api/org/apache/log4j/performance/Logging.html

log4j本身的测试数据，Async并没有获得性能提升

15 楼 jxb8901 2008-08-25  

上面回贴有误，刚才看了一下AsyncAppender的API，发现了一个getLocationInfo的方法，经测试是可以记录文件名和行号的。

14 楼 jxb8901 2008-08-25  

异步log无法记录异常发生的文件名和行号，因此其使用还是有很大限制

13 楼 szhnet 2008-08-24  

谢谢，学习了

12 楼 phz50 2008-08-22  

  写得很不错

11 楼 bohemia 2008-08-21  

使用DailyRollingAppender,确实有这个问题;
影响IO性能的主要有:
1.屏幕输出日志;
2.太多的Debug日志;


如果单纯降低日志级别到INFO或者ERROR,有时不可取; 因为毕竟很多日志是需要记录下来跟踪问题的;

LZ的方法,不错..原来本来想用SocketAppender来单独记录到独立的日志服务器的方式,避免本地的日志错误.以及多台服务器日志的同步的; 看来AsyncAppender也是不错提升日志性能的方法;


另外, DailyRollingAppender 这个日志记录器在Unix服务器有时候存在问题;
后来经网络查找有个修改过的补丁包,采用了 DailyRollingAppenderExt扩展了;避免了无法正常生成文件的情况;

10 楼 anchovy 2008-08-20  

DEBUG级别的时候可能性能提高明显，但实际运行时ERROR级别的时候似乎性能的影响不会很大。我在项目中会在开发和发布是用不同的配置

9 楼 raymond2006k 2008-08-20  

引用：
zhangbinghao
如果我要对网站的访问情况做日志，用LOG4J来记录一些信息。请问能满足这种应用吗？网站每天访问量在3亿PV，之前都是通过APACHE来记录，但是APACHE的日志格式过去单一，无法对一些特殊商业分析做深入分析。想通过LOG4J来记录，是否有这方面的应用呢？



我对apache server不太熟，首先你可以参考apache的文档，看日志格式能否设置为你们想要的格式。

log4j的输入完全就是自己做主啦。
例如：log.info("<saleRecord time=" + new Date() + " empNo=" + empNo + "... />");

将对应logger设置到文件输出，然后针对对应文件进行分析就可以了。
或者通过aync JDBCAppender向数据库输出也可以。

8 楼 raymond2006k 2008-08-20  

fight_bird 昨天 删除
已处于生产状态的系统本身就不应该有很多的log输出，只有当高负载的logger已经成为需求的一部分时这种调优才有意义。


同意 fight_bird 的，日志设为何种级别一般选warn或error为宜。

不过对于一些重要的大型系统， 通常需要将实参，sql参数，动态sql语句，结果记录条数等日志记录下来，以便在数据操作逻辑错误，例如：查询结果不符合预期等时，进行逻辑错误定位。
利用log4j,还能实现 访问记录进行安全审计等，都需要将对应logger的级别设为info或debug。

7 楼 zhangbinghao 2008-08-20  

如果我要对网站的访问情况做日志，用LOG4J来记录一些信息。请问能满足这种应用吗？网站每天访问量在3亿PV，之前都是通过APACHE来记录，但是APACHE的日志格式过去单一，无法对一些特殊商业分析做深入分析。想通过LOG4J来记录，是否有这方面的应用呢？

6 楼 sunfengcheng 2008-08-20  

很少接触 J2EE

5 楼 Unmi 2008-08-20  

还是不错，知道了有 AsyncAppender 这么一个东西
不过只是生产环境下，日志级别都设置为 ERROR，影响不大的

4 楼 fight_bird 2008-08-19  

已处于生产状态的系统本身就不应该有很多的log输出，只有当高负载的logger已经成为需求的一部分时这种调优才有意义。

3 楼 yefeng 2008-08-19  

不错，顶

2 楼 java菜菜鸟 2008-08-19  

原来还可以这样子，收藏起来.谢谢分享!

1 楼 onex 2008-08-19  

Async logger不错,谢楼主