/**
*作者:ahuaxuan
*日期:2008-10-21
**/ [size=medium]
日志监控这个功能应该有很多程序员都遇到过这种需求,一般来说它在关键型应用(尤其涉及到收入问题,该功能也是来自于系统问题发生后我们的反省)上显得尤其重要.下面我们来看看我们之所以需要这丫得前因后果.
我们将其分为两个部分
一开发,开发以人为主导因素,一般得流程是:开发->单元测试->集成测试->黑盒测试.理论上来讲,这个流程是没有问题的,不过有一个前提或者说是基础,那就是我们的程序员和测试人员是不能同时失误的,如果同时失误,那么有问题的代码可能会被部署到服务器运行.
二部署,部署之后程序是否正常很大程度上和服务器软硬件环境有关,如果需要保证我们的程序可以无差错运行,那么就需要保证我们的软硬件环境的正常运行.
有了这两点上的保证,那么我们晚上就可以安心的睡觉了,不过事实上这两个环节都有可能发生问题.
第一点,测试人员和程序员同时粗心的”巧合”确实是会发生,发生的频率和团队的项目管理水平有及其紧密的联系,两者成明显反比,项目管理水平越低,那么发生这种情况的几率就越高,反之亦然.同时,世界上没有不犯错误的人,据我所知,windows2000在开发的时候有900个人员,而测试人员达到了1800个,由此可见,微软非常明白这个道理.
第二点,服务器软硬件问题的发生有时候会非常的蹊跷,比如说网线出了点小问题都能把人折磨半天.或者原本理论上没有问题的网络时不时的会出现点小问题,让人丈二和尚摸不着头脑,尤其是我们可能会半天都没有察觉到它对我们程序的影响.
那么基于以上论断,有规范的流程,有貌似正常的软硬件环境对我们来说还是不够的,我们还需要保证我们的应用运行良好(尤其是核心应用,其他应用看情况).那么一旦我们的应用出现问题,我们怎么才能及时的得到通知呢,日志是个好东西,我们可以从日志下手
对于java程序员来说,最熟悉的莫过于的是log4j,对于c’er来说最熟悉的可能是log4c, 还有log4c++,log4p等等等等,log4````还是比较多的.不过本文并不准备介绍他们的使用步骤或者其他什么方面.
纵观日志监控的类型,基本可以分为2个大类,耦合和解耦.耦合类基本把日志监控的功能整合到应用程序中,比如说扩展log4j(自己写一个myappender之类的,这对于java程序员来说最熟悉),还有扩展log4c(不熟,无发言权)等等.拿扩展log4j来说,在myappender中记录下错误的信息,然后发给一个日志搜集程序也是可以的,如果你不想扩展log4j,那么没有问题,有exceptioninterceptor吗?不管怎样,你一定有一个总的异常拦截的方案,在把这些异常显示到页面之前你总得做点什么吧,ok,就在这里,把这个异常发到日志搜集程序里去吧.
还有一种就是解耦了,也就是说你的应用程序无需关心日志监控方面的问题.交给别人来做吧,这样似乎比较安心一点.那么这样做的一个关键就是在分析日志文件上,分析完之后发送给一个统一的日志搜集程序就行了(这个日志搜集程序收到请求后可以发邮件给当事人).
这样问题就变成了如何解析日志文件了.我把它分为以下几个步骤:
1定义日志格式,要解析日志,那么这个日志数据需要遵循某种规范,比如说我们规定我们的日志必须以”日期 时间 级别:”这样的形式开头
Eg: 2008-10-17 10:00:43 INFO:xxxxxxxxxxxxxxxxxxxxxxxxxxx
2 合理设置日志的输出级别.比如把warn和error的信息输出到单独的文件中去,而不是把它们和info或者debug放在一起.这样做的目的是减轻日志分析器的压力.
3 需要开发一个日志搜集中心,所有项目的日志分析器在分析到错误信息后都可以发到这个统一的日志搜集中心.
下面的代码是我用python写的一个日志分析器的雏形时的代码,仅供理解使用.代码中有一些解释,主要用到了python几个模块:
正则表达式模块,该模块用来判断日志是否符合要求
time模块,常用模块
urllib和urllib2模块,发送http请求模块,日志信息会被发送到统一的日志中心.
cPickle模块,记录最新的日志日期和时间
socket模块,得到机器的ip和机器名
hashlib模块,过滤重复的日志信息
以下是代码部分:
#!python
import re, time
import urllib2, urllib
import cPickle as pp
import zlib, socket, hashlib
#------------------------ setting begin ------------------------
fileAddress = 'E:/workspace/logs/aaa.log'
logLevel = 'ERROR:'
datePattern = '\\d{4}-\\d{2}-\\d{2}\\s\\d{2}:\\d{2}:\\d{2}'
msgReceiveUrl = 'http://localhost:8083/test/logcollect'
fileDataPath = 'D:/a.txt'
sepMinutes = 5
#------------------------ setting end ------------------------
logf = open(fileAddress, 'r')
p = re.compile(datePattern)
class LogParser(object):
def __init__(self, t):
self.lastTime = t
self.msgList = []
self.tmpTime = None
def isNewMsg(self, msg):
currentTimeStr = msg[:19]
currentTime = time.strptime(currentTimeStr, '%Y-%m-%d %H:%M:%S')
if self.lastTime == None:
self.lastTime = time.localtime()
if currentTime > self.lastTime:
self.tmpTime = currentTime
return True
else:
return False
'''
如果是新的日志信息则保存到需要发送的列表中
'''
def collectMsg(self, msg):
if self.isNewMsg(msg):
self.msgList.append(msg)
else:
pass
'''
过滤重复的日志信息
将日志列表中的新日志信息发出去,
'''
def sendMsg(self):
#record the last time
if self.tmpTime != None:
picklef = open(fileDataPath, 'w')
pp.dump(self.tmpTime, picklef)
print 'middle time ------------ ' + str(self.tmpTime)
picklef.close()
finalList = []
existMsgList = []
for tmpmsg in self.msgList:
hash = hashlib.md5(tmpmsg[19:-1]).hexdigest()
if not existMsgList.__contains__(hash):
existMsgList.append(hash)
finalList.append(tmpmsg)
#data = zlib.compress(str(finalList[:1000]))
#print data
print finalList
body = {}
for a in finalList[:10000]:
body['msg'] = a
body['ip'] = socket.gethostbyname(socket.gethostname())
body['hostname'] = socket.gethostname()
#print self.msgList
#cj = cookielib.CookieJar()
# opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
opener = urllib2.build_opener()
urllib2.install_opener(opener)
req = urllib2.Request(msgReceiveUrl, urllib.urlencode(body))
u = urllib2.urlopen(req)
print u.read()
'''
解析日志文件中的每行日志
'''
def parseLog(self):
tmpLogStr = ''
for a in logf:
#print ' pattern result ' + str(p.match(a))
if p.match(a) != None:
if tmpLogStr != '':
self.collectMsg(tmpLogStr)
if a.find(logLevel) > 0:
tmpLogStr = a
else:
tmpLogStr = tmpLogStr + a
if __name__ == '__main__':
picklef = open(fileDataPath)
t = None
try:
t = pp.load(picklef);
except EOFError:
pass
#t = time.strptime('2008-10-17 10:00:43', '%Y-%m-%d %H:%M:%S')
picklef.close()
begin = time.time()
print 'begin --- last log time : ' + str(t)
parser = LogParser(t)
parser.parseLog()
parser.sendMsg()
logf.close()
print 'end ------- total time is ' + str(time.time() - begin)
有了这个脚本,那么我们任何的应用无需作逻辑上的改动,不需要改动java代码,只需要修改一下log4j的配置文件即可.可以说和application是完全解耦的.
ahuaxuan的机器是cpu e4400,频率2g,内存2g,硬盘7200转,型号不知,分析8m的日志文件用时1.2s.该脚本可以使用操作系统的cron功能使其定时运行. 比如说10分钟运行一次.
这样,一旦系统出现问题,相关人员可以立刻收到邮件,及时处理,把损失降到最小.
由于ahuaxuan水平所限,文章或者代码中不免有不妥之处,望不吝赐教[/size]
分享到:
- 2008-10-21 17:16
- 浏览 2464
- 评论(0)
- 论坛回复 / 浏览 (0 / 4418)
- 查看更多
相关推荐
java反编译器,支持jdk5.0 博文链接:https://ahuaxuan.iteye.com/blog/139493
===下载后有不懂的可以私信我。==== 这是一个教务管理系统的源码,使用的开发语言是Java,数据库是MySql,使用的框架是Struts+Hibernate,这是我刚刚学习的代码,和大家一切分享,将代码直接导入MyEclipse 中就可以运行了,有什么问题及时跟我沟通,我们一起沟通学习。。内容来源于网络分享,如有侵权请联系我删除。
资源说明: 1:csdn平台资源详情页的文档预览若发现'异常',属平台多文档切片混合解析和叠加展示风格,请放心使用。 2:29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署,保姆级图文详解),旨在为更多的人甚至零基础的人也能运行、使用和学习。 3:配套毕业论文,万字长文,word文档,支持二次编辑。 4:范例参考答辩ppt,pptx格式,支持二次编辑。 5:工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6:资源项目源码均已通过严格测试验证,保证能够正常运行,本项目仅用作交流学习参考,请切勿用于商业用途。 7:项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通。 内容概要: 本系统基于 B/S 网络结构,在 IDEA 中开发。服务端用 Java 并借 Spring Boot 框架搭建后台。前台采用支持 HTML5 的 VUE 框架。用 MySQL 存储数据,可靠性强。 能学到什么: 使用Spring Boot搭建后台。VUE 框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。
PMSM永磁同步电机高精度参数辨识仿真:定子电阻、DQ电感与转子磁链精准辨识,适用于表贴与内嵌式电机,简洁算法易于工程实现,PMSM永磁同步电机参数辨识仿真,适用于表贴式,内嵌式永磁同步电机: 辨识内容: ① 定子电阻,精度在0.1%左右; ② DQ电感辨识(脉冲电压法),精度在0.02%左右; ③ 转子磁链辨识,精度在0.12%左右; 上述算法,是在实践工程中提炼出的算法,无复杂的矩阵计算,无复杂的滤波算法,TI ,ST 以及国产芯片都可实现,易于工程实现。 需要可以直接联系,发和matlab版本。 提供仿真的简要原理说明文档。 ,核心关键词: PMSM永磁同步电机;参数辨识仿真;表贴式永磁同步电机;内嵌式永磁同步电机;定子电阻辨识;DQ电感辨识;转子磁链辨识;精度;TI芯片;ST芯片;国产芯片;工程实现;Matlab版本;仿真原理说明文档。,PMSM永磁同步电机参数辨识仿真:高精度算法在表贴与内嵌式电机中的应用
城镇段公路市政化改造的设计节点分析.pdf
Matlab领域上传的视频是由对应的完整代码运行得来的,完整代码皆可运行,亲测可用,适合小白; 1、从视频里可见完整代码的内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
这是一款跑腿小程序,带有智能派单、系统派单、同城配送、校园跑腿、预约取件、用户端+骑手端 基于FastAdmin+thinkphp和uniapp开发的优创同城跑腿系统,支持帮取、帮送模式,包含用户端、骑手端、运营后台。 支持一键接单、抢单, 为跑腿团队提供技术解决方案,无加密源码,可私有化部署。
永磁同步电机基于刚性等级的工程整定方法simulink仿真模型,速度环PI基于刚性等级调整,电流环PI基于环路带宽调整,双闭环基本只需要调整2个参数即可。 理论及模型搭建说明: 永磁同步电机PMSM环路工程整定方法: https://blog.csdn.net/qq_28149763/article/details/145230860
===下载后有不懂的可以私信我。==== 操作系统是计算机科学中的核心课程,它管理着计算机的硬件资源,为用户提供服务并协调各种软件运行。"王道操作系统课件 2024" 是一套全新的教学资料,旨在帮助学习者深入理解操作系统的工作原理和设计思想。这些课件包含了操作系统的一些关键主题,如操作系统概念、体系结构、进程管理、输入输出、文件系统以及存储设备等内容。 1. **操作系统概念与功能** (1.1_1_操作系统的概念、功能.pdf) 操作系统是计算机系统的核心,负责管理和控制硬件资源,提供用户接口和服务。其基本功能包括处理器管理、内存管理、设备管理、文件管理和作业调度等。这些功能确保了计算机系统的高效运行和资源的有效利用。 2. **操作系统体系结构** (1.4_2_操作系统体系结构(下).pdf) 操作系统的体系结构分为单体结构、微内核结构、客户-服务器结构、层状结构等。这些不同的架构设计各有优缺点,适应不同的应用场景和需求。例如,微内核结构强调最小化内核,提高系统稳定性和可扩展性。 3. **虚拟机** (1.6_虚拟机.pdf) 虚拟机技术允许在单一硬件平台上运行多个操作系统实例,通过模拟硬件环境实现隔离。虚拟机有全虚拟化和半虚拟化两种主要类型,分别适用于不同场景,如开发测试、云服务等。 4. **输入输出(I/O)管理** (5.1_5_输入输出应用程序接口和驱动程序接口.pdf) I/O管理涉及设备驱动程序、中断处理、DMA(Direct Memory Access)和I/O缓冲等。应用程序通过I/O接口与硬件交互,驱动程序则作为操作系统与硬件间的桥梁,使得硬件操作对用户透明。 5. **进程通信** (2.1_4_进程通信.pdf) 进程通信是多进程系统中协调和同步的重要手段,包括管道、消息队列、共享内存、信号量、套接字等多种机制。有效的进程通信可以提升系统效率,避免竞态条件和死锁等问题。 6. **文件系统全局结构** (4.3_2_文件系统的全局结构(布局).pdf) 文件系统负责组织和管理磁盘上的数据,包括目录结构、文件分配、文件的逻辑与物理结构等。了解文件系统的全局结构有助于优化数据存储和检索效率。 7. **文件保护** (4.1_9_文件保护.pdf) 文件保护涉及到权限管理、访问控制列表(ACL)、文件加密等,用于确保文件的安全性和完整性,防止非法访问和修改。 8. **固态硬盘(SSD)** (5.3_5_固态硬盘SSD.pdf) 固态硬盘使用闪存作为存储介质,相比传统硬盘,具有更快的读写速度、更低的延迟和更高的耐用性。SSD的特性对现代操作系统提出了新的存储管理挑战,如TRIM命令的使用和垃圾回收算法的设计。 这些课件覆盖了操作系统学习的核心知识点,通过深入研究,学生将能够全面理解操作系统的运作机制,并为解决实际问题打下坚实基础。。内容来源于网络分享,如有侵权请联系我删除。
2025年家庭教育指导师试题库及答案.docx
2023-04-06-项目笔记-第三百八十二阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.380局变量的作用域_380- 2025-01-18
2025年ISO45001:2018内审员题库及答案.docx
维也纳整流器闭环仿真模型与SVPWM调制技术在Matlab Simulink环境下的研究,维也纳整流器(Vienna recttifier)闭环仿真模型,Svpwm调制。 matlab, simulink ,核心关键词:维也纳整流器(Vienna rectifier); 闭环仿真模型; SVPWM调制; MATLAB; Simulink。,"基于Simulink的维也纳整流器Svpwm调制闭环仿真模型研究"
资源说明: 1:csdn平台资源详情页的文档预览若发现'异常',属平台多文档切片混合解析和叠加展示风格,请放心使用。 2:29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署,保姆级图文详解),旨在为更多的人甚至零基础的人也能运行、使用和学习。 3:配套毕业论文,万字长文,word文档,支持二次编辑。 4:范例参考答辩ppt,pptx格式,支持二次编辑。 5:工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6:资源项目源码均已通过严格测试验证,保证能够正常运行,本项目仅用作交流学习参考,请切勿用于商业用途。 7:项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通。 内容概要: 本系统基于B/S网络结构,在IDEA中开发。服务端用Java并借Spring Boot框架搭建后台。前台采用支持HTML5的VUE框架。用MySQL存储数据,可靠性强。 能学到什么: 使用Spring Boot搭建后台。VUE框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。
垃圾杂填土室内加固处理研究.pdf
交换技术 vlan 课堂作业
资源说明: 1:csdn平台资源详情页的文档预览若发现'异常',属平台多文档切片混合解析和叠加展示风格,请放心使用。 2:29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署,保姆级图文详解),旨在为更多的人甚至零基础的人也能运行、使用和学习。 3:配套毕业论文,万字长文,word文档,支持二次编辑。 4:范例参考答辩ppt,pptx格式,支持二次编辑。 5:工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6:资源项目源码均已通过严格测试验证,保证能够正常运行,本项目仅用作交流学习参考,请切勿用于商业用途。 7:项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通。 内容概要: 本系统基于 B/S 网络结构,在 IDEA 中开发。服务端用 Java 并借 Spring Boot 框架搭建后台。前台采用支持 HTML5 的 VUE 框架。用 MySQL 存储数据,可靠性强。 能学到什么: 使用Spring Boot搭建后台。VUE 框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。
资源说明: 1:csdn平台资源详情页的文档预览若发现'异常',属平台多文档切片混合解析和叠加展示风格,请放心使用。 2:29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署,保姆级图文详解),旨在为更多的人甚至零基础的人也能运行、使用和学习。 3:配套毕业论文,万字长文,word文档,支持二次编辑。 4:范例参考答辩ppt,pptx格式,支持二次编辑。 5:工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6:资源项目源码均已通过严格测试验证,保证能够正常运行,本项目仅用作交流学习参考,请切勿用于商业用途。 7:项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通。 内容概要: 本系统基于B/S网络结构,在IDEA中开发。服务端用Java并借Spring Boot框架搭建后台。前台采用支持HTML5的VUE框架。用MySQL存储数据,可靠性强。 能学到什么: 使用Spring Boot搭建后台。VUE框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。
参考链接:https://www.bilibili.com/video/BV1U9wAenENq/?vd_source=bf2d43514ea61b1121399ab65421e37c 前端:jsp 后端框架:SSM 数据库:MySQL 有数据库文件,项目完整,拿来即可用 1.登录注册模块 实现管理员、教师、用户进行登录和注册。 2.个人中心模块 实现管理员、用户、教师查看与修改个人信息与密码。 3.用户、教师管理模块 实现管理员对用户、教师信息进行删除、查询等操作。用户、教师也可在用户端修 改自己的个人信息。 4.课程信息模块 实现管理员对课程信息进行删除、查询操作。教师可在客户端修改课程信息。 5.招聘教师模块 实现管理员对招聘教师进行删除、查询操作。用户可在客户端修改自己的招聘需求。 6.系统管理模块 实现管理员对公告页面的增加、删除、修改、查询操作。普通用户只能查看。 7.用户评价模块 实现管理员对用户评价的查询、删除等操作,教师只能查询用户评价,用户可以对 评价进行删除、添加与查询。 8.教师简历模块 实现管理员与教师对教师简历的删除、查询等操作,用户只能查看教师简
资源说明: 1:csdn平台资源详情页的文档预览若发现'异常',属平台多文档切片混合解析和叠加展示风格,请放心使用。 2:29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署,保姆级图文详解),旨在为更多的人甚至零基础的人也能运行、使用和学习。 3:配套毕业论文,万字长文,word文档,支持二次编辑。 4:范例参考答辩ppt,pptx格式,支持二次编辑。 5:工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6:资源项目源码均已通过严格测试验证,保证能够正常运行,本项目仅用作交流学习参考,请切勿用于商业用途。 7:项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通。 内容概要: 本系统基于B/S网络结构,在IDEA中开发。服务端用Java并借Spring Boot框架搭建后台。前台采用支持HTML5的VUE框架。用MySQL存储数据,可靠性强。 能学到什么: 使用Spring Boot搭建后台。VUE框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。