`
canofy
  • 浏览: 828859 次
  • 性别: Icon_minigender_1
  • 来自: 北京、四川
社区版块
存档分类
最新评论

统计系统五----日志解析二

阅读更多
解析日志的第二个shell文件(stat_hour.sh),主要是把下载,解析放到一起,然后执行存储过程

是按小时进行统计,若要按天进行统计,若还是小时的日志,则只需更改存储过程那个地方,让存储过程一天只执行一次;若日志是按天生成的,则把传进来的时间参数改为按天的就行。

不管哪一种都需要更改存储过程,需要把基础数据导入到正式数据的语句改成按天的。

. comm_function.sh

work_path=`getWorkPath`
#获取配置文件的路径
config_address=$work_path"/config";
comm_config_file=$config_address"/comm.config"

#x需要处理的类型,pv还是click,和配置文件中的相对应,和awk文件的某一部分名字相对应,和具体的sql语句有关
if test $1
then
    type=$1
else
   logInfo "main.sh is error,the first parameter is type that must have" $error_log
   exit;
fi

#临时文件,必须填入绝对路径,否则会报错,不分类型,在下载日志的时候会
if test $2
then
    temp_file=$2
else
   logInfo "main.sh is error,the second parameter is temp_name that must have" $error_log
   exit;
fi

lasthour=`date --date="1 hour  ago" +%Y-%m-%d-%H`

#下载日志的时间,即需要下载解析哪一个时间的日志
if test $3
then
    lasthour=$3;
fi

cd ${work_path}"/sh"

#获取配置文件中所配置的sql语句
table=`getConfigValue "sql_table_${type}" ${comm_config_file}`

#获取mysql的信息
mysql_head=`getConfigValue "mysql_head" ${comm_config_file}`

#获取执行住存储过程的名称
#procedure=`getConfigValue "sql_procedure_${type}" ${comm_config_file}`

#下载日志
./down_log.sh ${type} ${lasthour}


#解析日志
./phase_log.sh ${type} ${temp_file}


#临时文件入库
${mysql_head}  "LOAD DATA LOCAL INFILE '${temp_file}"_"${type}' into table ${table} ";

#执行存储过程
#${mysql_head} -e "call ${procedure}('${lasthour}')"
#echo ${procedure}

#备份临时文件,只保存两个,并删除当前的临时文件
cp -f ${temp_file}"_"${type} ${temp_file}"_"${type}"_bak1"
cp -f ${temp_file}"_"${type}"_bak1" ${temp_file}"_"${type}"_bak2"
rm -rf ${temp_file}"_"${type}

分享到:
评论

相关推荐

    论文《Logram:使用n-Gram词典的高效日志解析》翻译

    我们在16个公开的日志数据集上评估了Logram,并将其与五种最先进的日志解析方法进行了比较。结果显示,Logram在解析准确性上超过了现有最佳方法(平均至少高出10%),同时在效率上也表现出色(例如,端到端解析时间...

    系统安全日志、系统日志提取

    系统日志是记录操作系统、应用程序、网络设备等在运行过程中发生的事件的重要工具。它们提供了对系统行为的详细洞察,帮助管理员识别潜在的问题、追踪错误、监控活动以及确保系统的安全性。"系统安全日志、系统日志...

    日志文件解析code

    4. **编程语言支持**:许多编程语言都有现成的日志解析库,如Python的`logparser`、`pandas`,Java的`Log4j`,JavaScript的`logfmt`等。这些库简化了开发过程,提供了一套标准的API来处理日志数据。 5. **日志标准...

    基于Golang协程实现流量统计系统视频.zip

    8-1 统计分析模块日志解析 第9章 统计系统之统计逻辑 统计分析模块PVUV统计(上) 统计分析模块PVUV统计(下) 第10章 统计系统之存储器 10-1 数据存储(上) 10-2 数据存储(下) 第11章 数据可视化 11-1 基于Ant ...

    Go-Red终端日志分析工具

    **Go-Red终端日志分析工具** Go-Red是一款基于Go语言开发的高效终端日志分析工具,专门设计用于帮助开发者...通过掌握Go-Red的使用,开发者可以更高效地管理和理解他们的系统日志,从而提高工作效率和问题排查能力。

    scribe日志系统文档

    ### scribe日志系统知识点详解 #### 一、概述 Scribe是一款由Facebook开源的分布式日志收集系统,主要用于集中式地收集并处理各种来源的日志数据。它基于跨平台的语言Thrift进行开发,能够很好地支持Java Log4j等...

    搜狗搜索日志分析系统

    3. **日志解析**:使用特定的解析规则,将原始日志数据转化为结构化的数据格式,便于后续分析。 4. **数据挖掘**:通过MapReduce处理,可以执行各种分析任务,例如: - **热门搜索分析**:找出最常被搜索的关键词...

    NodeLog统计方案yog-log.zip

    yog-log兼容ODP支持灵活的日志格式配置,以满足不同系统对日志的格式要求。如接入OMP时warning日志格式配置: %L: %{%m-%d %H:%M:%S}t %{app}x * %{pid}x [logid=%l filename=%f lineno=%N errno=%{err_no}...

    XXL-RPC_XXL-RPC解析_

    本文将深入解析XXL-RPC的实现原理,并通过源码分析来帮助理解其核心功能。 首先,XXL-RPC的核心组件包括服务提供者(Provider)、服务消费者(Consumer)和注册中心(Registry)。服务提供者将本地服务注册到注册...

    日志管理和分析系统的设计与实现

    1. **日志数据的采集**:日志数据可以从不同的来源获取,如Windows操作系统的事件日志、UNIX系统日志以及防火墙日志等。这些数据通常包含关键的信息,如时间戳、用户活动记录、错误消息等。 2. **日志数据的解析与...

    java实时日志解析处理

    在Java开发中,实时日志解析处理是一项至关重要的任务,特别是在大规模分布式系统或者高并发环境中。日志是系统运行状态的记录,对于故障排查、性能优化、安全监控等都有着不可替代的作用。本篇将深入探讨Java如何...

    开源日志管理系统

    Logstash是一个开源的日志管理系统,能够高效地收集、解析并转发各种类型的日志数据。它可以作为一个完整的日志管理解决方案来使用,也可以与其他组件(如Elasticsearch和Kibana)结合使用,构成一个更加强大的日志...

    参考资料-生产日志统计表.zip

    生产日志统计表是用来汇总、分析这些日志数据的重要工具,以帮助企业监控系统状态,优化性能,及时发现和解决问题。下面将详细讨论生产日志统计表的相关知识点。 1. 日志级别: 日志通常分为多个级别,例如DEBUG、...

    网络游戏-GSM-R网络测试日志数据可视化回放与统计分析系统及方法.zip

    《网络游戏-GSM-R网络测试日志数据可视化回放与统计分析系统及方法》是一个专注于网络游戏领域,特别是GSM-R(Global System for Mobile Communications - Railway)网络的测试、数据管理和分析的解决方案。...

    Python解析日志文件并且导出到excel源码

    这篇我们将讨论如何利用Python解析日志文件并将其导出到Excel,这对于数据分析、故障排查和监控系统状态非常有用。 首先,解析日志文件通常涉及到字符串处理和正则表达式。Python的标准库`re`提供了正则表达式的...

    藏经阁-B站日志系统的演进之路.pdf

    设计目标包括:收敛接入方式,对PAAS友好、规范日志格式、日志解析对日志系统透明、系统高可用、容量可扩展、高可运维性等。 日志格式规范 日志格式规范采用JSON格式,必须包含四类元信息:time、level、app_id、...

    基于loki+grafana的在线nginx日志分析系统

    总结起来,这个基于Loki和Grafana的日志分析系统利用Docker Compose简化了部署流程,Promtail作为日志收集器确保了日志的有效捕获,而Grafana则提供了强大的可视化工具帮助我们理解和解析Nginx服务器的运行状况。...

    啄木鸟日志分析系统

    同时,啄木鸟日志分析系统还提供统计图展示模式,这些图表可以直观地展示日志数据的关键指标,帮助管理员快速理解和评估网络安全状况。 备份机制是此系统的一个亮点。它可以实现在两台电脑之间的实时日志备份,确保...

    大数据存储及分层实践-8-3 日志系统之高效检索.zip

    日志生成器负责在系统执行操作时记录事件,而日志处理器则负责收集、解析、存储和检索这些日志信息。高效的日志检索涉及到对大量日志数据的快速定位和分析。 二、日志数据的特点 日志数据通常具有以下特点: 1. 高...

Global site tag (gtag.js) - Google Analytics