`
zyz611
  • 浏览: 95937 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

分析日志

 
阅读更多
debug()
{
    debug="true"

    if [ $debug = "true" ]
    then
        echo $1
    fi;

}


getYesterday()
{
    yesterday=
    yesterday=`date -d last-day +"%Y/%m/%d"`

    debug $yesterday
}

getToday()
{
    today=
    today=`date +"%Y/%m/%d"`
    debug $today

}

initialDate()
{
getYesterday
getToday
}

getlegoHome()
{
legoHome=

if [ -f /etc/profile.d/lego.sh ]; then
. /etc/profile.d/lego.sh
legoHome=`echo $LEGO_HOME`

fi
}

initail()
{
initialDate
getlegoHome
}

#$1 means lines, $2 tarLogFile, $3 each file
#get its 20 lines after exception
getLogFromEachLine()
{
    #no exception
    if [ $# != 3 ]
    then
        return
    fi;

    fileName=$3
    logName=$2
    linewithColon=$1


    debug $fileName
    debug $logName

    lines=
    lines=`echo  $linewithColon | cut -d: -f1-  --output-delimiter=" "`
    debug $lines

    #first and last time, do nothing
    for line in $lines
    do 
grep -i "zip" $fileName > /dev/null

        #its zip file
if [ $? = 0 ]
then
    endLine=$[line + 20]
    zcat $fileName | sed -n "$line,$endLine p" >> $logName
else
    endLine=$[line + 20]
    cat $fileName | sed -n "$line,$endLine p" >> $logName
fi;
    done
}

#exceptionLine begin line, $1 exceptionStartLine,$2 file names
getExceptionLines()
{
    exceptionEndLine=
    findIt="false"

    for allLine in $alllines
    do
        if [ $findIt = "true" ]
then
    exceptionEndLine=$allLine
    break;
fi;

        if [ $allLine -eq $1 ]
then
    findIt="true"
fi;
    done;

    if [ -z $exceptionEndLine ]
    then
        exceptionEndLine=`cat $2 | wc -l`
    fi;
}



# $1 means the dir, $2 means the tar file
getDayLog()
{   dirName=$1
    cd $dirName
    logName=$2
    whichDay=$3
    for file in `ls`
    do  
         echo "start $file" >> $2
        
#get today's log
#get each line first
alllines=
alllines=`zgrep -n "$whichDay" $file | awk -F : '{print $1}'`
exceptionLines=
exceptionLines=`zgrep -n "$whichDay" $file | grep -i exception | awk -F : '{print $1}'`
        
for exceptionLine in $exceptionLines
do
     getExceptionLines $exceptionLine $file
     grep -i "zip" $file > /dev/null
            
     if [ $? = 0 ]
then
    zcat $file | sed -n "$exceptionLine,$exceptionEndLine p" >> $logName
else
    cat $file | sed -n "$exceptionLine,$exceptionEndLine p" >> $logName
    fi;
      
done;

    done

}


getLog()
{
    getDayLog $1 $2 $today
    getDayLog $1 $2 $yesterday
}






doAll()
{
initail
#feLog
getLog $legoHome/Runtime/Tomcat6/logs  /root/feLog
#getLog $legoHome/Runtime/LegoRuntime/logs  /root/beLog
        #getLog $legoHome/Runtime/LegoRuntime/logs/webnmslog /root/webNmsLog
}

doAll
分享到:
评论

相关推荐

    python 分析日志(初本)

    本文将深入探讨使用Python进行日志分析的基本方法,以"python 分析日志(初本)"为主题,结合提供的两个Python脚本文件——read_file.py和read.py,来讲解如何有效地读取、解析和分析日志文件。 首先,让我们从基础...

    入侵日志分析技术 入侵日志分析技术

    3. **系统安全性评估:**定期分析日志可以帮助评估系统的安全性状况,识别存在的弱点并加以改进。 4. **合规性审计:**许多行业标准和法律法规要求组织机构保留一定期限内的安全日志,以便于合规性审计。 #### 三、...

    检查日志,分析日志,java

    检查日志,分析日志,java 检查日志,分析日志,java 检查日志,分析日志,java检查日志,分析日志,java

    兼容神策SDK埋点的用户行为分析日志采集源码

    "兼容神策SDK埋点的用户行为分析日志采集源码"项目旨在实现一个高效且可靠的日志采集系统,以支持神策SDK的数据收集与分析。 首先,神策SDK是一款开源的用户行为追踪框架,它允许开发者在应用程序中埋点,捕获用户...

    日记分析日志 日记分析日志

    日记分析日志

    python实时分析日志的一个小脚本分享

    在IT行业中,实时分析日志是一项重要的任务,特别是在服务器运维和系统监控中。本文将详细介绍一个使用Python编写的脚本,用于实时分析日志文件,特别是对于Web服务的监控,如HTTP状态码统计、响应时间和带宽监测。...

    认识与分析日志文件_os_

    本篇将深入探讨关于“认识与分析日志文件”的基本知识点。 1. **日志文件的类型** - **系统日志**:记录操作系统级别的事件,如启动和关闭、硬件故障、系统级错误等。 - **应用日志**:由应用程序产生的日志,...

    SQLSERVER日志分析工具

    2. **性能优化**:通过分析日志,可以识别出慢查询和资源消耗高的事务,这对于数据库性能调优至关重要。例如,频繁执行的长时查询可能成为系统瓶颈,分析工具可以定位这些问题并提出改进建议。 3. **安全性审查**:...

    实验11-认识和分析日志文件.docx

    **18.5 分析日志文件** 为了分析日志文件,首先需要确保安装了必要的工具,如`net-tools`包,其中包含了`netstat`等实用工具。`logwatch`是一个自动化日志分析工具,它可以生成关于系统活动的每日报告。此外,教材...

    c#日志分析器

    4. **合规性要求**:在某些行业,如金融、医疗等,记录和分析日志是法规要求的一部分,以确保数据安全和操作透明。 5. **故障回溯**:当问题发生后,可以通过历史日志回溯事件链,重现问题现场,便于修复。 至于...

    日志、审计结果分析报告.docx

    3. 分析人员:分析人员是指负责分析日志的安全人员,负责对日志进行分析、处理和响应。分析人员需要具备一定的安全知识和经验,以确保对日志的正确分析和处理。 4. 日期:日期是指日志生成的时间,例如某个安全事件...

    光年日志分析工具(网站日志分析软件)

    1. **访问统计**:通过分析日志,光年日志分析可以提供详细的访问统计信息,如每日、每周或每月的访问量,最常访问的页面,以及访问者的行为模式。这些数据有助于理解网站的流量状况和用户偏好。 2. **搜索引擎优化...

    log 分析日志,用于调试分析bug问题

    log 分析日志,用于调试分析bug问题

    啄木鸟日志分析系统

    通过持续监控和分析日志数据,管理员能够提前发现各种安全威胁,并采取相应的预防措施。啄木鸟日志分析系统凭借其强大的自定义规则和实时备份功能,为用户提供了一个高效、灵活的解决方案,帮助他们应对复杂的网络...

    notepad++日志分析插件.zip

    总结,Notepad++日志分析插件是提升日志处理效率的有效工具,尤其对于需要频繁分析日志的开发者来说,它的功能强大且易用。通过熟练掌握这款插件,你可以更快地定位问题,提高工作效率。无论是在系统管理还是软件...

    服务器web日志分析软件

    1. **性能监控**:通过分析日志,可以了解网站的响应速度、访问量、最常访问的页面等,帮助优化网站性能,提升用户体验。 2. **故障排查**:当网站出现错误或异常时,日志分析工具能快速定位问题所在,如HTTP错误...

    Apache日志分析手册

    7. 分析日志中的异常行为:比如,通过过滤日志来查看特定IP地址在特定时间的活动情况,或者用tcpdump工具嗅探网络流量,以此来监控和分析异常的网络行为。 8. 日志中特定记录的查找:使用grep和awk命令可以查找特定...

    analytics-influxdb:InfluxDB的简单分析日志记录

    Analytics-InfluxDB InfluxDB的简单分析日志记录,受启发很大实例化一个新的系列队列以开始记录json数据###安装: npm install analytics-influxdb --save ###用法:var Analytics = require ( 'analytics-...

    日志分析工具

    可以对日志进行分析,一个通用的日志查看器. 可以通过用户配置的正则表达式解析文本格式的日志文件

Global site tag (gtag.js) - Google Analytics