`
canofy
  • 浏览: 828879 次
  • 性别: Icon_minigender_1
  • 来自: 北京、四川
社区版块
存档分类
最新评论

统计系统四----日志解析一

阅读更多
解析日志的shell文件(phase_log.sh)
. comm_function.sh

#工作目录
work_path=`getWorkPath`
work_log=$work_path"/log/work.log"
error_log=$work_path"/log/error.log"
phase_error_log=$work_path"/log/phase_error.log"
phase_success_log=$work_path"/log/phase_success.log"
awk_path=$work_path"/awk"

#lasthour=`date --date="1 hour  ago" +%Y-%m-%d-%H`

#参数的获取
#第一个参数为类型
#第二个参数为临时文件的名称
#第三个参数为下载解压缩的成功列表,手动执行重算的时候需要把文件名传进来即可,文件列表的日志文件必须已解压缩且存在
if [ $1 ]; then
    type=$1;
else
    logInfo "Phase_log.sh's first parameter is type that must be have" $error_log
    exit;
fi

#第二个获取临时文件生成的地址,包括文件名,不同的类型不同的临时文件
#temp=${work_path}"/temp/temp_"${type}
if [ $2 ];then
    temp=$2"_"${type}
else
    logInfo "phase_log.sh's second parameter is temp file that must be have" $error_log
    exit;
fi

#获取下载成功的某一类型的文件,里面存储的是各个成功解压缩之后的文件名
down_log_file=${work_path}"/log/down_success_${type}.log"

if [ $3 ]; then
    down_log_file=$3;
fi

#对下载成功的列表文件进行判断
if [ ! -e "${down_log_file}" ];then
    echo "there is no ${down_log_file}"
    logInfo "!!!there is no ${down_log_file}" $work_log
    exit;
fi

#获取配置文件的路径
config_address=$work_path"/config";
comm_config_file=$config_address"/comm.config"

#获取mysql的语句
sql=`getConfigValue "sql" "$comm_config_file"`


#获取awk的文件名,与类型有关
awk_file=${awk_path}"/list_"${type}".awk"
#echo ${awk_file}

#加载后即刻保存为其它文件,这里只保存三个,为下次下载准备
log_names=`cat ${down_log_file}`
mv ${down_log_file} ${down_log_file}"_save1"
mv ${down_log_file}"_save1" ${down_log_file}"_save2"
mv ${down_log_file}"_save2" ${down_log_file}"_save3"

logInfo "*************************Begin Log Phase****************************" $work_log
for log in ${log_names};do
    awk -f ${awk_file} ${log}>>${temp}
    echo ${log}
    if [ -e "${temp}" ] && [ "`wc -l ${temp}`" != "0 ${temp}" ]; then
        #解析成功
        logInfo "----phase success---${log}" ${work_log}
        echo ${log}>>${phase_success_log}
    else
        #解析失败
        logInfo "!!!phase error.....${log}" ${work_log}
        echo ${log}>>${phase_error_log}
    fi
    #解析完毕就删除文件
    rm -rf ${log}
done
logInfo "*************************End Log Phase****************************"  $work_log

分享到:
评论

相关推荐

    论文《Logram:使用n-Gram词典的高效日志解析》翻译

    在此工作中,我们提出了一种名为Logram的自动化日志解析方法,它利用n-gram词典来实现高效的日志解析。我们在16个公开的日志数据集上评估了Logram,并将其与五种最先进的日志解析方法进行了比较。结果显示,Logram在...

    系统安全日志、系统日志提取

    系统日志是记录操作系统、应用程序、网络设备等在运行过程中发生的事件的重要工具。它们提供了对系统行为的详细洞察,帮助管理员识别潜在的问题、追踪错误、监控活动以及确保系统的安全性。"系统安全日志、系统日志...

    基于Golang协程实现流量统计系统视频.zip

    8-1 统计分析模块日志解析 第9章 统计系统之统计逻辑 统计分析模块PVUV统计(上) 统计分析模块PVUV统计(下) 第10章 统计系统之存储器 10-1 数据存储(上) 10-2 数据存储(下) 第11章 数据可视化 11-1 基于Ant ...

    搜狗搜索日志分析系统

    3. **日志解析**:使用特定的解析规则,将原始日志数据转化为结构化的数据格式,便于后续分析。 4. **数据挖掘**:通过MapReduce处理,可以执行各种分析任务,例如: - **热门搜索分析**:找出最常被搜索的关键词...

    scribe日志系统文档

    Scribe是一款由Facebook开源的分布式日志收集系统,主要用于集中式地收集并处理各种来源的日志数据。它基于跨平台的语言Thrift进行开发,能够很好地支持Java Log4j等日志框架,并允许通过Log4j等工具将日志信息发送...

    Go-Red终端日志分析工具

    **Go-Red终端日志分析工具** Go-Red是一款基于Go语言开发的高效终端日志分析工具,专门设计用于帮助开发者...通过掌握Go-Red的使用,开发者可以更高效地管理和理解他们的系统日志,从而提高工作效率和问题排查能力。

    藏经阁-B站日志系统的演进之路.pdf

    设计目标包括:收敛接入方式,对PAAS友好、规范日志格式、日志解析对日志系统透明、系统高可用、容量可扩展、高可运维性等。 日志格式规范 日志格式规范采用JSON格式,必须包含四类元信息:time、level、app_id、...

    java实时日志解析处理

    在Java开发中,实时日志解析处理是一项至关重要的任务,特别是在大规模分布式系统或者高并发环境中。日志是系统运行状态的记录,对于故障排查、性能优化、安全监控等都有着不可替代的作用。本篇将深入探讨Java如何...

    日志管理和分析系统的设计与实现

    1. **日志数据的采集**:日志数据可以从不同的来源获取,如Windows操作系统的事件日志、UNIX系统日志以及防火墙日志等。这些数据通常包含关键的信息,如时间戳、用户活动记录、错误消息等。 2. **日志数据的解析与...

    网络游戏-GSM-R网络测试日志数据可视化回放与统计分析系统及方法.zip

    《网络游戏-GSM-R网络测试日志数据可视化回放与统计分析系统及方法》是一个专注于网络游戏领域,特别是GSM-R(Global System for Mobile Communications - Railway)网络的测试、数据管理和分析的解决方案。...

    基于loki+grafana的在线nginx日志分析系统

    总结起来,这个基于Loki和Grafana的日志分析系统利用Docker Compose简化了部署流程,Promtail作为日志收集器确保了日志的有效捕获,而Grafana则提供了强大的可视化工具帮助我们理解和解析Nginx服务器的运行状况。...

    开源日志管理系统

    Logstash是一个开源的日志管理系统,能够高效地收集、解析并转发各种类型的日志数据。它可以作为一个完整的日志管理解决方案来使用,也可以与其他组件(如Elasticsearch和Kibana)结合使用,构成一个更加强大的日志...

    XXL-RPC_XXL-RPC解析_

    本文将深入解析XXL-RPC的实现原理,并通过源码分析来帮助理解其核心功能。 首先,XXL-RPC的核心组件包括服务提供者(Provider)、服务消费者(Consumer)和注册中心(Registry)。服务提供者将本地服务注册到注册...

    啄木鸟日志分析系统

    "啄木鸟日志分析系统"是一款专门为信息安全领域设计的日志分析工具,其核心功能在于帮助用户进行入侵检测和日志管理。系统允许用户自定义编写检测规则,以适应各种不同的安全需求,确保网络环境的安全性。日志分析是...

    Python-Logpara一个对常见的web日志进行解析处理的粗糙DEMO

    在IT行业中,日志处理是一项至关重要的任务,它有助于我们理解和诊断系统运行中的问题,优化性能,以及进行安全审计。Python作为一种强大且易用的编程语言,常常被用来处理各种日志数据。"Python-Logpara"项目就是一...

    NodeLog统计方案yog-log.zip

    yog-log兼容ODP支持灵活的日志格式配置,以满足不同系统对日志的格式要求。如接入OMP时warning日志格式配置: %L: %{%m-%d %H:%M:%S}t %{app}x * %{pid}x [logid=%l filename=%f lineno=%N errno=%{err_no}...

    Python解析日志文件并且导出到excel源码

    这篇我们将讨论如何利用Python解析日志文件并将其导出到Excel,这对于数据分析、故障排查和监控系统状态非常有用。 首先,解析日志文件通常涉及到字符串处理和正则表达式。Python的标准库`re`提供了正则表达式的...

    日志管理系统asp

    在日志管理系统中,ASP被用来处理和解析日志文件,将日志信息转化为可读性强、可分析的数据。 日志管理系统的核心功能包括: 1. **日志收集**:系统自动从服务器或应用程序中收集日志数据,这些数据通常包含了请求...

    用perl 统计日志信息

    本文将深入探讨如何使用Perl来统计日志信息,这在系统监控、故障排查和数据分析等领域非常常见。 首先,我们来看看标题"用perl 统计日志信息"。这暗示我们要编写一个Perl脚本来读取日志文件,从中提取关键信息并...

    呆错短视频系统 V1.0.6 免费下载

    呆错短视频系统是一款专业的免费视频管理系统,适合做短视频垂直细分内容平台。 - 视频模块 - 分类模块 - 标签模块 - 解析模块 - 聚合模块 - SEO模块 - 采集模块 - API模块 - 搜索模块 - 统计模块 - 地图模块 - 广告...

Global site tag (gtag.js) - Google Analytics