解析日志的第二个shell文件(stat_hour.sh),主要是把下载,解析放到一起,然后执行存储过程
是按小时进行统计,若要按天进行统计,若还是小时的日志,则只需更改存储过程那个地方,让存储过程一天只执行一次;若日志是按天生成的,则把传进来的时间参数改为按天的就行。
不管哪一种都需要更改存储过程,需要把基础数据导入到正式数据的语句改成按天的。
. comm_function.sh
work_path=`getWorkPath`
#获取配置文件的路径
config_address=$work_path"/config";
comm_config_file=$config_address"/comm.config"
#x需要处理的类型,pv还是click,和配置文件中的相对应,和awk文件的某一部分名字相对应,和具体的sql语句有关
if test $1
then
type=$1
else
logInfo "main.sh is error,the first parameter is type that must have" $error_log
exit;
fi
#临时文件,必须填入绝对路径,否则会报错,不分类型,在下载日志的时候会
if test $2
then
temp_file=$2
else
logInfo "main.sh is error,the second parameter is temp_name that must have" $error_log
exit;
fi
lasthour=`date --date="1 hour ago" +%Y-%m-%d-%H`
#下载日志的时间,即需要下载解析哪一个时间的日志
if test $3
then
lasthour=$3;
fi
cd ${work_path}"/sh"
#获取配置文件中所配置的sql语句
table=`getConfigValue "sql_table_${type}" ${comm_config_file}`
#获取mysql的信息
mysql_head=`getConfigValue "mysql_head" ${comm_config_file}`
#获取执行住存储过程的名称
#procedure=`getConfigValue "sql_procedure_${type}" ${comm_config_file}`
#下载日志
./down_log.sh ${type} ${lasthour}
#解析日志
./phase_log.sh ${type} ${temp_file}
#临时文件入库
${mysql_head} "LOAD DATA LOCAL INFILE '${temp_file}"_"${type}' into table ${table} ";
#执行存储过程
#${mysql_head} -e "call ${procedure}('${lasthour}')"
#echo ${procedure}
#备份临时文件,只保存两个,并删除当前的临时文件
cp -f ${temp_file}"_"${type} ${temp_file}"_"${type}"_bak1"
cp -f ${temp_file}"_"${type}"_bak1" ${temp_file}"_"${type}"_bak2"
rm -rf ${temp_file}"_"${type}
分享到:
相关推荐
我们在16个公开的日志数据集上评估了Logram,并将其与五种最先进的日志解析方法进行了比较。结果显示,Logram在解析准确性上超过了现有最佳方法(平均至少高出10%),同时在效率上也表现出色(例如,端到端解析时间...
系统日志是记录操作系统、应用程序、网络设备等在运行过程中发生的事件的重要工具。它们提供了对系统行为的详细洞察,帮助管理员识别潜在的问题、追踪错误、监控活动以及确保系统的安全性。"系统安全日志、系统日志...
4. **编程语言支持**:许多编程语言都有现成的日志解析库,如Python的`logparser`、`pandas`,Java的`Log4j`,JavaScript的`logfmt`等。这些库简化了开发过程,提供了一套标准的API来处理日志数据。 5. **日志标准...
8-1 统计分析模块日志解析 第9章 统计系统之统计逻辑 统计分析模块PVUV统计(上) 统计分析模块PVUV统计(下) 第10章 统计系统之存储器 10-1 数据存储(上) 10-2 数据存储(下) 第11章 数据可视化 11-1 基于Ant ...
**Go-Red终端日志分析工具** Go-Red是一款基于Go语言开发的高效终端日志分析工具,专门设计用于帮助开发者...通过掌握Go-Red的使用,开发者可以更高效地管理和理解他们的系统日志,从而提高工作效率和问题排查能力。
### scribe日志系统知识点详解 #### 一、概述 Scribe是一款由Facebook开源的分布式日志收集系统,主要用于集中式地收集并处理各种来源的日志数据。它基于跨平台的语言Thrift进行开发,能够很好地支持Java Log4j等...
3. **日志解析**:使用特定的解析规则,将原始日志数据转化为结构化的数据格式,便于后续分析。 4. **数据挖掘**:通过MapReduce处理,可以执行各种分析任务,例如: - **热门搜索分析**:找出最常被搜索的关键词...
yog-log兼容ODP支持灵活的日志格式配置,以满足不同系统对日志的格式要求。如接入OMP时warning日志格式配置: %L: %{%m-%d %H:%M:%S}t %{app}x * %{pid}x [logid=%l filename=%f lineno=%N errno=%{err_no}...
本文将深入解析XXL-RPC的实现原理,并通过源码分析来帮助理解其核心功能。 首先,XXL-RPC的核心组件包括服务提供者(Provider)、服务消费者(Consumer)和注册中心(Registry)。服务提供者将本地服务注册到注册...
1. **日志数据的采集**:日志数据可以从不同的来源获取,如Windows操作系统的事件日志、UNIX系统日志以及防火墙日志等。这些数据通常包含关键的信息,如时间戳、用户活动记录、错误消息等。 2. **日志数据的解析与...
在Java开发中,实时日志解析处理是一项至关重要的任务,特别是在大规模分布式系统或者高并发环境中。日志是系统运行状态的记录,对于故障排查、性能优化、安全监控等都有着不可替代的作用。本篇将深入探讨Java如何...
Logstash是一个开源的日志管理系统,能够高效地收集、解析并转发各种类型的日志数据。它可以作为一个完整的日志管理解决方案来使用,也可以与其他组件(如Elasticsearch和Kibana)结合使用,构成一个更加强大的日志...
生产日志统计表是用来汇总、分析这些日志数据的重要工具,以帮助企业监控系统状态,优化性能,及时发现和解决问题。下面将详细讨论生产日志统计表的相关知识点。 1. 日志级别: 日志通常分为多个级别,例如DEBUG、...
《网络游戏-GSM-R网络测试日志数据可视化回放与统计分析系统及方法》是一个专注于网络游戏领域,特别是GSM-R(Global System for Mobile Communications - Railway)网络的测试、数据管理和分析的解决方案。...
这篇我们将讨论如何利用Python解析日志文件并将其导出到Excel,这对于数据分析、故障排查和监控系统状态非常有用。 首先,解析日志文件通常涉及到字符串处理和正则表达式。Python的标准库`re`提供了正则表达式的...
设计目标包括:收敛接入方式,对PAAS友好、规范日志格式、日志解析对日志系统透明、系统高可用、容量可扩展、高可运维性等。 日志格式规范 日志格式规范采用JSON格式,必须包含四类元信息:time、level、app_id、...
总结起来,这个基于Loki和Grafana的日志分析系统利用Docker Compose简化了部署流程,Promtail作为日志收集器确保了日志的有效捕获,而Grafana则提供了强大的可视化工具帮助我们理解和解析Nginx服务器的运行状况。...
同时,啄木鸟日志分析系统还提供统计图展示模式,这些图表可以直观地展示日志数据的关键指标,帮助管理员快速理解和评估网络安全状况。 备份机制是此系统的一个亮点。它可以实现在两台电脑之间的实时日志备份,确保...
日志生成器负责在系统执行操作时记录事件,而日志处理器则负责收集、解析、存储和检索这些日志信息。高效的日志检索涉及到对大量日志数据的快速定位和分析。 二、日志数据的特点 日志数据通常具有以下特点: 1. 高...