采用技术:shell+awk+mysql+存储过程
主目录:/usr/local/yicha/adtools/stat_node/
awk目录:各种awk脚本,主要是对日志做一些合并的处理
config目录:shell脚本的配置文件目录
error目录:shell脚本的某个环节出错后提示的错误文件放在此目录
shell目录:shell脚本放在此目录里面
shell脚本介绍:
download.sh 下载脚本,只负责从配置文件中所配置的服务器上下载压缩后的日志。
extract.sh 解压缩脚本,只负责把各个服务器目录下压缩后的日志按日志名称解压缩出来合并成一个文件,然后删掉各服务器目录下解压缩后的文件
analysis.sh 解析脚本,通过配置文件找到对应的awk文件,对相应的日志文件进行合并,生成可以导入到数据库的文件database.sh 数据库入库脚本,把通过analysis.sh解析
后生成加入到数据库中。
main_down_pv.sh pv的数据的主脚本。按顺序组合上面各个步骤的脚本,首先是下载,其次是解压缩,然后是解析脚本,接着是删除数据库的数据(这里是为了重新执行某一个小时
而设计的),最后是把数据入库。
main_down_click.sh click数据的主脚本。
call_proceduce_day.sh 执行存储过程的脚本。这是按天执行的存储过程,主要是利用存储过程合并数据,生成最终的产品人员需要的统计数据。
分享到:
相关推荐
质量改进统计分析方法.pptx
质量改进统计分析方法培训课程.pptx
关于改进跨境电商统计方法的建议.pdf
本资料集主要探讨的是如何基于当前统计模型对粒子滤波算法进行改进,以提高其性能和效率。 在传统的粒子滤波框架中,存在两个主要问题:样本退化和粒子多样性丧失。样本退化指的是随着迭代次数增加,大部分粒子聚集...
后台首页统计改进 增加会员登录才能查看信息联系方式的功能 提交发布分类信息时显示友好等待提示 后台增加将网站会员转为待审核的功能 网站后台加入提交售后工单便捷入口 文字内链改进为只替换一次 分类信息...
trainer 张永锋还讲解了质量统计分析的步骤,包括质量统计计划、质量统计控制、质量统计改进等。 在质量报告部分,trainer 张永锋讲解了质量报告的重要性和质量报告的目标。质量报告的目标是为了确保供应商的质量...
- 功能持续优化、统计改进、策略多样化、程序交易、系统交易是量化交易过程中的五个阶段。 - 这些阶段从交易模型的构建、管理交易机会、自动化和半自动化交易等方面定义了量化交易的操作路径。 6. 量化交易中的...
《度量软件过程——用于软件过程改进统计控制》这一主题深入探讨了如何通过统计控制方法来优化软件开发流程,实现更高效、更高质量的软件产出。以下是对该主题涉及的核心知识点的详细解析: ### 一、软件过程度量的...
【SPC统计过程控制的改进】是质量管理领域中一个关键的话题。统计过程控制(Statistical Process Control,简称SPC)是一种使用统计方法监控和改善生产过程的方法,旨在确保产品的质量和一致性。通过对生产过程中的...
《度量软件过程—用于软件过程改进的统计过程控制》这本书深入探讨了如何运用统计过程控制(SPC)这一工具来提升软件开发的质量和效率。统计过程控制是一种数据分析方法,常用于制造业,但在软件工程领域也有广泛的...
数据说话:基于统计技术的质量改进.pdf
浅析改进统计方法提升事业单位统计工作质量的策略.pdf
《SPC统计过程控制的改进》是一份详细的手册,主要关注如何运用统计方法来提升生产过程的质量控制。SPC,即统计过程控制,是一种利用统计学原理监控和改进生产过程中变量的方法,以确保产品的质量和一致性。在当前...