`
linzhanghui
  • 浏览: 46143 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

学习log4j _ hadoop/conf/log4j.properties

    博客分类:
  • Java
阅读更多

# Define some default values that can be overridden by system properties

# 定义可以被重写的系统默认值
hadoop.root.logger=INFO,console
hadoop.log.dir=.
hadoop.log.file=hadoop.log

# Define the root logger to the system property "hadoop.root.logger".
log4j.rootLogger=${hadoop.root.logger}, EventCounter

# Logging Threshold
log4j.threshhold=ALL

#
# Daily Rolling File Appender
#

log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Rollver at midnight
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd

# 30-day backup
#log4j.appender.DRFA.MaxBackupIndex=30
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout

# Pattern format: Date LogLevel LoggerName LogMessage
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
# Debugging Pattern format
#log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n


#
# console
# Add "console" to rootlogger above if you want to use this
#

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

#
# TaskLog Appender
#

#Default values
hadoop.tasklog.taskid=null
hadoop.tasklog.noKeepSplits=4
hadoop.tasklog.totalLogFileSize=100
hadoop.tasklog.purgeLogSplits=true
hadoop.tasklog.logsRetainHours=12

log4j.appender.TLA=org.apache.hadoop.mapred.TaskLogAppender
log4j.appender.TLA.taskId=${hadoop.tasklog.taskid}
log4j.appender.TLA.totalLogFileSize=${hadoop.tasklog.totalLogFileSize}

log4j.appender.TLA.layout=org.apache.log4j.PatternLayout
log4j.appender.TLA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n

#
# Rolling File Appender
#

#log4j.appender.RFA=org.apache.log4j.RollingFileAppender
#log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Logfile size and and 30-day backups
#log4j.appender.RFA.MaxFileSize=1MB
#log4j.appender.RFA.MaxBackupIndex=30

#log4j.appender.RFA.layout=org.apache.log4j.PatternLayout
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} - %m%n
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n

#
# FSNamesystem Audit logging
# All audit events are logged at INFO level
#
log4j.logger.org.apache.hadoop.fs.FSNamesystem.audit=WARN

# Custom Logging levels

#log4j.logger.org.apache.hadoop.mapred.JobTracker=DEBUG
#log4j.logger.org.apache.hadoop.mapred.TaskTracker=DEBUG
#log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG

# Jets3t library
log4j.logger.org.jets3t.service.impl.rest.httpclient.RestS3Service=ERROR

#
# Event Counter Appender
# Sends counts of logging messages at different severity levels to Hadoop Metrics.
#
log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter

 

 

 

1 log4j.rootCategory=INFO, stdout , R

  此句为将等级为INFO的日志信息输出到stdout和R这两个目的地,stdout和R的定义在下面的代码,可以任意起名。等级可分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL,如果配置OFF则不打出任何信息,如果配置为INFO这样只显示INFO, WARN, ERROR的log信息,而DEBUG信息不会被显示,具体讲解可参照第三部分定义配置文件中的logger。

  3 log4j.appender.stdout=org.apache.log4j.ConsoleAppender

  此句为定义名为stdout的输出端是哪种类型,可以是

  org.apache.log4j.ConsoleAppender(控制台),

  org.apache.log4j.FileAppender(文件),

  org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件),

  org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件)

  org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方)

  具体讲解可参照第三部分定义配置文件中的Appender。

  4 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

  此句为定义名为stdout的输出端的layout是哪种类型,可以是

  org.apache.log4j.HTMLLayout(以HTML表格形式布局),

  org.apache.log4j.PatternLayout(可以灵活地指定布局模式),

  org.apache.log4j.SimpleLayout(包含日志信息的级别和信息字符串),

  org.apache.log4j.TTCCLayout(包含日志产生的时间、线程、类别等等信息)

  具体讲解可参照第三部分定义配置文件中的Layout。

  5 log4j.appender.stdout.layout.ConversionPattern= [QC] %p [%t] %C.%M(%L) | %m%n

  如果使用pattern布局就要指定的打印信息的具体格式ConversionPattern,打印参数如下:

  %m 输出代码中指定的消息

  %p 输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL

  %r 输出自应用启动到输出该log信息耗费的毫秒数

  %c 输出所属的类目,通常就是所在类的全名

  %t 输出产生该日志事件的线程名

  %n 输出一个回车换行符,Windows平台为“rn”,Unix平台为“n”

  %d 输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyyy MMM dd HH:mm:ss,SSS},输出类似:2002年10月18日 22:10:28,921

  %l 输出日志事件的发生位置,包括类目名、发生的线程,以及在代码中的行数。

  [QC]是log信息的开头,可以为任意字符,一般为项目简称。

  输出的信息

  [TS] DEBUG [main] AbstractBeanFactory.getBean(189) | Returning cached instance of singleton bean 'MyAutoProxy'

  具体讲解可参照第三部分定义配置文件中的格式化日志信息。

  7 log4j.appender.R=org.apache.log4j.DailyRollingFileAppender

  此句与第3行一样。定义名为R的输出端的类型为每天产生一个日志文件。

  8 log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log

  此句为定义名为R的输出端的文件名为D:\\Tomcat 5.5\\logs\\qc.log可以自行修改。

  9 log4j.appender.R.layout=org.apache.log4j.PatternLayout

  与第4行相同。

  10 log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n

  与第5行相同。

  12 log4j.logger.com. neusoft =DEBUG

  指定com.neusoft包下的所有类的等级为DEBUG。

  可以把com.neusoft改为自己项目所用的包名。

  13 log4j.logger.com.opensymphony.oscache=ERROR

  14 log4j.logger.net.sf.navigator=ERROR

  这两句是把这两个包下出现的错误的等级设为ERROR,如果项目中没有配置EHCache,则不需要这两句。

  15 log4j.logger.org.apache.commons=ERROR

  16 log4j.logger.org.apache.struts=WARN

  这两句是struts的包。

  17 log4j.logger.org.displaytag=ERROR

  这句是displaytag的包。(QC问题列表页面所用)

  18 log4j.logger.org.springframework=DEBUG

  此句为Spring的包。

  24 log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN

  25 log4j.logger.org.hibernate=DEBUG

  此两句是hibernate的包。

 

 

分享到:
评论

相关推荐

    hadoop2.6conf下的正确配置文件

    7. **log4j.properties**:这涉及到日志配置,可以调整Hadoop组件的日志级别和输出格式。 8. **hadoop-env.sh**:这是Hadoop环境变量的配置脚本,可以设定如JAVA_HOME、HADOOP_OPTS等环境变量,以优化性能或添加...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    [hadoop@localhost conf]$ cp hive-log4j2.properties.template hive-log4j2.properties ``` **(2) 修改hive-env.sh** 在 `hive-env.sh` 文件中设置Java、Hadoop及Hive的环境变量路径: ```bash export ...

    flume 简介安装使用案例(将log4j数据写到hdfs中)

    $ bin/flume-ng agent --conf conf --conf-file log4j_to_hdfs.conf --name agent_name -Dflume.root.logger=INFO,console ``` 3. **监控数据传输** 在 HDFS 上查看数据是否成功写入。 ### Avro 类型的数据支持...

    Flume安装详细步骤

    vi $FLUME_HOME/conf/log4j.properties ``` Step 6: 验证Flume安装 使用以下命令验证Flume是否安装成功: ``` flume-ng version ``` 如果安装成功,应该看到Flume的版本号。 附加信息 在Flume的lib目录下,...

    Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx

    配置 log4j.properties 文件,如下: ``` ### set log levels ### log4j.rootLogger=INFO, stdout, file, flume log4j.logger.per.flume=INFO ### flume ### log4j.appender.flume=org.apache.flume.clients.log4...

    hadoop3.2.1配置文件亲测有效

    - **log4j.properties**:配置Hadoop的日志级别和输出位置。 - **metrics2-conf.xml**:配置Metrics2系统的收集和展示。 8. **性能优化**:包括设置合适的缓冲区大小、线程池大小、内存分配等,以提高系统效率。 ...

    zookeeper伪集群安装流程

    cd /home/hadoop/zookeeper-1/conf/ vim zoo.cfg ``` 内容如下: ```properties clientPort=2181 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/tmp/zk1/data dataLogDir=/home/hadoop/...

    spark2 安装教程

    cp /etc/hadoop/conf/yarn-site.xml /opt/spark-2.1.0-bin-hadoop2.6/conf/ cp /etc/hadoop/conf/hive-site.xml /opt/spark-2.1.0-bin-hadoop2.6/conf/ ``` 3. **修改配置文件**: - **spark-defaults.conf**...

    【HDFS篇03】HDFS客户端操作 --- 开发环境准备1

    在`resources`目录下创建`log4j.properties`文件,并定义日志级别、输出目标和格式。这将帮助你在执行HDFS操作时跟踪问题。 ```properties log4j.rootLogger=INFO, stdout, logfile log4j.appender.stdout=org....

    基于大数据集群的hive搭建

    cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties ``` 5. **配置 Hive-env.sh**:在 `hive-env.sh` 文件中设置 Hadoop 相关路径及 Hive 辅助 JAR 路径: ``` export HADOOP_HOME=/opt/...

    教你如何查看API及使用hadoop新api编程

    PropertyConfigurator.configure("conf/log4j.properties"); logger = Logger.getLogger(BookCount.class); logger.info("BookCount starting"); System.setProperty("HADOOP_USER_NAME", "hduser"); JobConf ...

    Hadoop_windows运行解决办法

    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_MAPRED_HOME,HADOOP_YARN_HOME,HADOOP_CONF_DIR</value> </property> <name>yarn.log-aggregation-enable</name> <value>true</value> </...

    Hive2.3.4安装文档

    mv hive-log4j2.properties.template hive-log4j2.properties cp hive-default.xml.template hive-site.xml ``` 四、配置hive-site.xml文件 ``` <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ...

    flume log4f示例源码

    Log4j 是一个广泛使用的 Java 日志框架,它提供了灵活的日志记录配置,使得应用程序可以方便地输出不同级别的日志信息。在本示例中,我们将探讨如何使用 Flume 来收集由 Log4j 产生的日志。 首先,`flume-conf....

    hive2.0+开启审计日志.pdf

    此外,对于Beeline客户端的日志配置,它通过`bin/ext/beeline.sh`脚本中的`-Dlog4j.configurationFile=beeline-log4j2.properties`参数来指定`beeline-log4j2.properties`文件,该文件的配置与Hive Metastore审计...

    CDH3.5.6 可用的一整套软件 下载链接 百度网盘,包含其他小工具,具体看资源详情

    hive-log4j.properties ; hive-site.xml 3.telnet 和netcat 等四个 :netcat-1.10-891.2.x86_64.rpm ; telnet-server-0.17-47.el6_3.1.x86_64.rpm;xinetd-2.3.14-29.el6.x86_64.rpm telnet-0.17-47.el6_3.1.x86_64....

    Hive配置(Oracle数据库为元数据)

    cp hive-log4j.properties.template hive-log4j.properties ``` 至此,Hive 的基本配置已经完成。通过以上步骤,Hive 将能够使用 Oracle 数据库作为其元数据存储,并且具备了基本的日志记录能力。后续可根据实际...

    spark安装配置教程.docx

    可以复制`log4j.properties.template`为`log4j.properties`,并根据需要修改日志级别和输出位置。 3. **slaves/workers**:如果打算在集群模式下运行Spark,该文件用于指定工作节点(Worker nodes)的地址。 #### ...

    spark在虚拟机的安装

    在`$SPARK_HOME/conf/log4j.properties`文件中配置日志级别,避免过多的日志输出影响性能。 #### 五、基本操作 1. **创建测试目录** 创建用于测试的目录,例如`mkdir ~/wordcount/input`。 2. **复制LICENSE....

Global site tag (gtag.js) - Google Analytics