debug()
{
debug="true"
if [ $debug = "true" ]
then
echo $1
fi;
}
getYesterday()
{
yesterday=
yesterday=`date -d last-day +"%Y/%m/%d"`
debug $yesterday
}
getToday()
{
today=
today=`date +"%Y/%m/%d"`
debug $today
}
initialDate()
{
getYesterday
getToday
}
getlegoHome()
{
legoHome=
if [ -f /etc/profile.d/lego.sh ]; then
. /etc/profile.d/lego.sh
legoHome=`echo $LEGO_HOME`
fi
}
initail()
{
initialDate
getlegoHome
}
#$1 means lines, $2 tarLogFile, $3 each file
#get its 20 lines after exception
getLogFromEachLine()
{
#no exception
if [ $# != 3 ]
then
return
fi;
fileName=$3
logName=$2
linewithColon=$1
debug $fileName
debug $logName
lines=
lines=`echo $linewithColon | cut -d: -f1- --output-delimiter=" "`
debug $lines
#first and last time, do nothing
for line in $lines
do
grep -i "zip" $fileName > /dev/null
#its zip file
if [ $? = 0 ]
then
endLine=$[line + 20]
zcat $fileName | sed -n "$line,$endLine p" >> $logName
else
endLine=$[line + 20]
cat $fileName | sed -n "$line,$endLine p" >> $logName
fi;
done
}
#exceptionLine begin line, $1 exceptionStartLine,$2 file names
getExceptionLines()
{
exceptionEndLine=
findIt="false"
for allLine in $alllines
do
if [ $findIt = "true" ]
then
exceptionEndLine=$allLine
break;
fi;
if [ $allLine -eq $1 ]
then
findIt="true"
fi;
done;
if [ -z $exceptionEndLine ]
then
exceptionEndLine=`cat $2 | wc -l`
fi;
}
# $1 means the dir, $2 means the tar file
getDayLog()
{ dirName=$1
cd $dirName
logName=$2
whichDay=$3
for file in `ls`
do
echo "start $file" >> $2
#get today's log
#get each line first
alllines=
alllines=`zgrep -n "$whichDay" $file | awk -F : '{print $1}'`
exceptionLines=
exceptionLines=`zgrep -n "$whichDay" $file | grep -i exception | awk -F : '{print $1}'`
for exceptionLine in $exceptionLines
do
getExceptionLines $exceptionLine $file
grep -i "zip" $file > /dev/null
if [ $? = 0 ]
then
zcat $file | sed -n "$exceptionLine,$exceptionEndLine p" >> $logName
else
cat $file | sed -n "$exceptionLine,$exceptionEndLine p" >> $logName
fi;
done;
done
}
getLog()
{
getDayLog $1 $2 $today
getDayLog $1 $2 $yesterday
}
doAll()
{
initail
#feLog
getLog $legoHome/Runtime/Tomcat6/logs /root/feLog
#getLog $legoHome/Runtime/LegoRuntime/logs /root/beLog
#getLog $legoHome/Runtime/LegoRuntime/logs/webnmslog /root/webNmsLog
}
doAll
分享到:
相关推荐
本文将深入探讨使用Python进行日志分析的基本方法,以"python 分析日志(初本)"为主题,结合提供的两个Python脚本文件——read_file.py和read.py,来讲解如何有效地读取、解析和分析日志文件。 首先,让我们从基础...
3. **系统安全性评估:**定期分析日志可以帮助评估系统的安全性状况,识别存在的弱点并加以改进。 4. **合规性审计:**许多行业标准和法律法规要求组织机构保留一定期限内的安全日志,以便于合规性审计。 #### 三、...
检查日志,分析日志,java 检查日志,分析日志,java 检查日志,分析日志,java检查日志,分析日志,java
"兼容神策SDK埋点的用户行为分析日志采集源码"项目旨在实现一个高效且可靠的日志采集系统,以支持神策SDK的数据收集与分析。 首先,神策SDK是一款开源的用户行为追踪框架,它允许开发者在应用程序中埋点,捕获用户...
日记分析日志
在IT行业中,实时分析日志是一项重要的任务,特别是在服务器运维和系统监控中。本文将详细介绍一个使用Python编写的脚本,用于实时分析日志文件,特别是对于Web服务的监控,如HTTP状态码统计、响应时间和带宽监测。...
本篇将深入探讨关于“认识与分析日志文件”的基本知识点。 1. **日志文件的类型** - **系统日志**:记录操作系统级别的事件,如启动和关闭、硬件故障、系统级错误等。 - **应用日志**:由应用程序产生的日志,...
2. **性能优化**:通过分析日志,可以识别出慢查询和资源消耗高的事务,这对于数据库性能调优至关重要。例如,频繁执行的长时查询可能成为系统瓶颈,分析工具可以定位这些问题并提出改进建议。 3. **安全性审查**:...
**18.5 分析日志文件** 为了分析日志文件,首先需要确保安装了必要的工具,如`net-tools`包,其中包含了`netstat`等实用工具。`logwatch`是一个自动化日志分析工具,它可以生成关于系统活动的每日报告。此外,教材...
4. **合规性要求**:在某些行业,如金融、医疗等,记录和分析日志是法规要求的一部分,以确保数据安全和操作透明。 5. **故障回溯**:当问题发生后,可以通过历史日志回溯事件链,重现问题现场,便于修复。 至于...
3. 分析人员:分析人员是指负责分析日志的安全人员,负责对日志进行分析、处理和响应。分析人员需要具备一定的安全知识和经验,以确保对日志的正确分析和处理。 4. 日期:日期是指日志生成的时间,例如某个安全事件...
1. **访问统计**:通过分析日志,光年日志分析可以提供详细的访问统计信息,如每日、每周或每月的访问量,最常访问的页面,以及访问者的行为模式。这些数据有助于理解网站的流量状况和用户偏好。 2. **搜索引擎优化...
通过持续监控和分析日志,管理员可以发现并防止未授权访问、恶意软件活动、DoS攻击等威胁。啄木鸟日志分析系统凭借其强大的自定义规则和实时备份功能,为用户提供了一个高效且灵活的解决方案,以应对日益复杂的信息...
总结,Notepad++日志分析插件是提升日志处理效率的有效工具,尤其对于需要频繁分析日志的开发者来说,它的功能强大且易用。通过熟练掌握这款插件,你可以更快地定位问题,提高工作效率。无论是在系统管理还是软件...
1. **性能监控**:通过分析日志,可以了解网站的响应速度、访问量、最常访问的页面等,帮助优化网站性能,提升用户体验。 2. **故障排查**:当网站出现错误或异常时,日志分析工具能快速定位问题所在,如HTTP错误...
7. 分析日志中的异常行为:比如,通过过滤日志来查看特定IP地址在特定时间的活动情况,或者用tcpdump工具嗅探网络流量,以此来监控和分析异常的网络行为。 8. 日志中特定记录的查找:使用grep和awk命令可以查找特定...
Analytics-InfluxDB InfluxDB的简单分析日志记录,受启发很大实例化一个新的系列队列以开始记录json数据###安装: npm install analytics-influxdb --save ###用法:var Analytics = require ( 'analytics-...
可以对日志进行分析,一个通用的日志查看器. 可以通过用户配置的正则表达式解析文本格式的日志文件
通过分析日志,我们可以得知哪些页面最受欢迎,用户访问的频率,停留时间,以及他们的浏览路径。这些数据对于网站内容的优化和营销策略的制定至关重要。例如,如果发现某个页面访问量大但跳出率高,可能意味着页面...