# Define some default values that can be overridden by system properties
# 定义可以被重写的系统默认值
hadoop.root.logger=INFO,console
hadoop.log.dir=.
hadoop.log.file=hadoop.log
# Define the root logger to the system property "hadoop.root.logger".
log4j.rootLogger=${hadoop.root.logger}, EventCounter
# Logging Threshold
log4j.threshhold=ALL
#
# Daily Rolling File Appender
#
log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.log.file}
# Rollver at midnight
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd
# 30-day backup
#log4j.appender.DRFA.MaxBackupIndex=30
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout
# Pattern format: Date LogLevel LoggerName LogMessage
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
# Debugging Pattern format
#log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n
#
# console
# Add "console" to rootlogger above if you want to use this
#
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
#
# TaskLog Appender
#
#Default values
hadoop.tasklog.taskid=null
hadoop.tasklog.noKeepSplits=4
hadoop.tasklog.totalLogFileSize=100
hadoop.tasklog.purgeLogSplits=true
hadoop.tasklog.logsRetainHours=12
log4j.appender.TLA=org.apache.hadoop.mapred.TaskLogAppender
log4j.appender.TLA.taskId=${hadoop.tasklog.taskid}
log4j.appender.TLA.totalLogFileSize=${hadoop.tasklog.totalLogFileSize}
log4j.appender.TLA.layout=org.apache.log4j.PatternLayout
log4j.appender.TLA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
#
# Rolling File Appender
#
#log4j.appender.RFA=org.apache.log4j.RollingFileAppender
#log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}
# Logfile size and and 30-day backups
#log4j.appender.RFA.MaxFileSize=1MB
#log4j.appender.RFA.MaxBackupIndex=30
#log4j.appender.RFA.layout=org.apache.log4j.PatternLayout
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} - %m%n
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n
#
# FSNamesystem Audit logging
# All audit events are logged at INFO level
#
log4j.logger.org.apache.hadoop.fs.FSNamesystem.audit=WARN
# Custom Logging levels
#log4j.logger.org.apache.hadoop.mapred.JobTracker=DEBUG
#log4j.logger.org.apache.hadoop.mapred.TaskTracker=DEBUG
#log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG
# Jets3t library
log4j.logger.org.jets3t.service.impl.rest.httpclient.RestS3Service=ERROR
#
# Event Counter Appender
# Sends counts of logging messages at different severity levels to Hadoop Metrics.
#
log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter
1 log4j.rootCategory=INFO, stdout , R
此句为将等级为INFO的日志信息输出到stdout和R这两个目的地,stdout和R的定义在下面的代码,可以任意起名。等级可分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL,如果配置OFF则不打出任何信息,如果配置为INFO这样只显示INFO, WARN, ERROR的log信息,而DEBUG信息不会被显示,具体讲解可参照第三部分定义配置文件中的logger。
3 log4j.appender.stdout=org.apache.log4j.ConsoleAppender
此句为定义名为stdout的输出端是哪种类型,可以是
org.apache.log4j.ConsoleAppender(控制台),
org.apache.log4j.FileAppender(文件),
org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件),
org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件)
org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方)
具体讲解可参照第三部分定义配置文件中的Appender。
4 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
此句为定义名为stdout的输出端的layout是哪种类型,可以是
org.apache.log4j.HTMLLayout(以HTML表格形式布局),
org.apache.log4j.PatternLayout(可以灵活地指定布局模式),
org.apache.log4j.SimpleLayout(包含日志信息的级别和信息字符串),
org.apache.log4j.TTCCLayout(包含日志产生的时间、线程、类别等等信息)
具体讲解可参照第三部分定义配置文件中的Layout。
5 log4j.appender.stdout.layout.ConversionPattern= [QC] %p [%t] %C.%M(%L) | %m%n
如果使用pattern布局就要指定的打印信息的具体格式ConversionPattern,打印参数如下:
%m 输出代码中指定的消息
%p 输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL
%r 输出自应用启动到输出该log信息耗费的毫秒数
%c 输出所属的类目,通常就是所在类的全名
%t 输出产生该日志事件的线程名
%n 输出一个回车换行符,Windows平台为“rn”,Unix平台为“n”
%d 输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyyy MMM dd HH:mm:ss,SSS},输出类似:2002年10月18日 22:10:28,921
%l 输出日志事件的发生位置,包括类目名、发生的线程,以及在代码中的行数。
[QC]是log信息的开头,可以为任意字符,一般为项目简称。
输出的信息
[TS] DEBUG [main] AbstractBeanFactory.getBean(189) | Returning cached instance of singleton bean 'MyAutoProxy'
具体讲解可参照第三部分定义配置文件中的格式化日志信息。
7 log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
此句与第3行一样。定义名为R的输出端的类型为每天产生一个日志文件。
8 log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log
此句为定义名为R的输出端的文件名为D:\\Tomcat 5.5\\logs\\qc.log可以自行修改。
9 log4j.appender.R.layout=org.apache.log4j.PatternLayout
与第4行相同。
10 log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n
与第5行相同。
12 log4j.logger.com. neusoft =DEBUG
指定com.neusoft包下的所有类的等级为DEBUG。
可以把com.neusoft改为自己项目所用的包名。
13 log4j.logger.com.opensymphony.oscache=ERROR
14 log4j.logger.net.sf.navigator=ERROR
这两句是把这两个包下出现的错误的等级设为ERROR,如果项目中没有配置EHCache,则不需要这两句。
15 log4j.logger.org.apache.commons=ERROR
16 log4j.logger.org.apache.struts=WARN
这两句是struts的包。
17 log4j.logger.org.displaytag=ERROR
这句是displaytag的包。(QC问题列表页面所用)
18 log4j.logger.org.springframework=DEBUG
此句为Spring的包。
24 log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN
25 log4j.logger.org.hibernate=DEBUG
此两句是hibernate的包。
分享到:
相关推荐
7. **log4j.properties**:这涉及到日志配置,可以调整Hadoop组件的日志级别和输出格式。 8. **hadoop-env.sh**:这是Hadoop环境变量的配置脚本,可以设定如JAVA_HOME、HADOOP_OPTS等环境变量,以优化性能或添加...
[hadoop@localhost conf]$ cp hive-log4j2.properties.template hive-log4j2.properties ``` **(2) 修改hive-env.sh** 在 `hive-env.sh` 文件中设置Java、Hadoop及Hive的环境变量路径: ```bash export ...
$ bin/flume-ng agent --conf conf --conf-file log4j_to_hdfs.conf --name agent_name -Dflume.root.logger=INFO,console ``` 3. **监控数据传输** 在 HDFS 上查看数据是否成功写入。 ### Avro 类型的数据支持...
vi $FLUME_HOME/conf/log4j.properties ``` Step 6: 验证Flume安装 使用以下命令验证Flume是否安装成功: ``` flume-ng version ``` 如果安装成功,应该看到Flume的版本号。 附加信息 在Flume的lib目录下,...
配置 log4j.properties 文件,如下: ``` ### set log levels ### log4j.rootLogger=INFO, stdout, file, flume log4j.logger.per.flume=INFO ### flume ### log4j.appender.flume=org.apache.flume.clients.log4...
- **log4j.properties**:配置Hadoop的日志级别和输出位置。 - **metrics2-conf.xml**:配置Metrics2系统的收集和展示。 8. **性能优化**:包括设置合适的缓冲区大小、线程池大小、内存分配等,以提高系统效率。 ...
cd /home/hadoop/zookeeper-1/conf/ vim zoo.cfg ``` 内容如下: ```properties clientPort=2181 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/tmp/zk1/data dataLogDir=/home/hadoop/...
cp /etc/hadoop/conf/yarn-site.xml /opt/spark-2.1.0-bin-hadoop2.6/conf/ cp /etc/hadoop/conf/hive-site.xml /opt/spark-2.1.0-bin-hadoop2.6/conf/ ``` 3. **修改配置文件**: - **spark-defaults.conf**...
在`resources`目录下创建`log4j.properties`文件,并定义日志级别、输出目标和格式。这将帮助你在执行HDFS操作时跟踪问题。 ```properties log4j.rootLogger=INFO, stdout, logfile log4j.appender.stdout=org....
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties ``` 5. **配置 Hive-env.sh**:在 `hive-env.sh` 文件中设置 Hadoop 相关路径及 Hive 辅助 JAR 路径: ``` export HADOOP_HOME=/opt/...
PropertyConfigurator.configure("conf/log4j.properties"); logger = Logger.getLogger(BookCount.class); logger.info("BookCount starting"); System.setProperty("HADOOP_USER_NAME", "hduser"); JobConf ...
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_MAPRED_HOME,HADOOP_YARN_HOME,HADOOP_CONF_DIR</value> </property> <name>yarn.log-aggregation-enable</name> <value>true</value> </...
mv hive-log4j2.properties.template hive-log4j2.properties cp hive-default.xml.template hive-site.xml ``` 四、配置hive-site.xml文件 ``` <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ...
Log4j 是一个广泛使用的 Java 日志框架,它提供了灵活的日志记录配置,使得应用程序可以方便地输出不同级别的日志信息。在本示例中,我们将探讨如何使用 Flume 来收集由 Log4j 产生的日志。 首先,`flume-conf....
此外,对于Beeline客户端的日志配置,它通过`bin/ext/beeline.sh`脚本中的`-Dlog4j.configurationFile=beeline-log4j2.properties`参数来指定`beeline-log4j2.properties`文件,该文件的配置与Hive Metastore审计...
hive-log4j.properties ; hive-site.xml 3.telnet 和netcat 等四个 :netcat-1.10-891.2.x86_64.rpm ; telnet-server-0.17-47.el6_3.1.x86_64.rpm;xinetd-2.3.14-29.el6.x86_64.rpm telnet-0.17-47.el6_3.1.x86_64....
cp hive-log4j.properties.template hive-log4j.properties ``` 至此,Hive 的基本配置已经完成。通过以上步骤,Hive 将能够使用 Oracle 数据库作为其元数据存储,并且具备了基本的日志记录能力。后续可根据实际...
可以复制`log4j.properties.template`为`log4j.properties`,并根据需要修改日志级别和输出位置。 3. **slaves/workers**:如果打算在集群模式下运行Spark,该文件用于指定工作节点(Worker nodes)的地址。 #### ...
在`$SPARK_HOME/conf/log4j.properties`文件中配置日志级别,避免过多的日志输出影响性能。 #### 五、基本操作 1. **创建测试目录** 创建用于测试的目录,例如`mkdir ~/wordcount/input`。 2. **复制LICENSE....