`

【Python真的很强大】程序Log实时监控

阅读更多
  • 需求构思: 在linux下常常需要查看程序的实时输出,我们用 tail -f logfile 即可在console下实现此需求。现在要拓宽应用: 想在web browser下查看程序(以及日志)的实时输出(也就是程序Log的Web实时监控)。

运行截图

  • 架构构思: 因为考虑了“实时"这个需求,所以初步定位为socket架构; 再因为是构建在web之上,属于web app,所以socket进一步细分为:web socket。初步验证: web socket的 server部分: 可选: 1)自己实现 2) Node.js 3)其他框架(i.e. pywebsocketserver), web socket的client部分: 可选: 1) firefox 16 2) chrome 3)其他浏览器
  • 架构实现
    • Python里的subprocess可用pipe获取数据,再开子进程获取数据行
    • Server负责把上述数据行缓存后再源源不断发送到 Client
    • Client负责显示接受到的实时数据
  • 代码部分

 

# -*- coding: utf8 -*-
import sys
import time 
import threading
from pywebsocketserver.server import SocketServer
from pywebsocketserver.baseio import BaseIO
import subprocess


def tcpdump():  
    global g_output_log
    popen=subprocess.Popen(['bash','-c',"/usr/sbin/tcpdump -i eth0 -v"],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
    pid=popen.pid
    print('Popen.pid:'+str(pid))  
    while True:  
        line=popen.stdout.readline().strip()
        #line =popen.communicate()
        print "output:%s" %(line)
        g_output_log.append(line)
        if subprocess.Popen.poll(popen) is not None:  
                break
    print('DONE')  
    

class MyIO(BaseIO):
    def onData(self,uid,text):
        self.sendData(uid,"received the message:%s"%(text,))
    def onConnect(self,uid):
        global g_uid
        g_uid=uid
        while True:
            #self.sendData(uid,"testing...")
            if  len(g_output_log) >0:
                log = g_output_log.pop()
                self.sendData(uid,log)
            else:
                time.sleep(.01)

try:
    g_output_log=[]
    g_uid=None
    tcpdump = threading.Thread(name='tcpdump', target=tcpdump)
    tcpdump.start()        
    port = sys.argv[1]
except:
    port = 88

port = int(port)
myIo = MyIO()
SocketServer(port,myIo).run()    

 

function SocketClient(ip,port,query) {
    var _this = this;
    this.socket = '';
    this.uid = 0;
    this.sign = '';
    this.connect = function() {
        this.socket = new WebSocket('ws://'+ip+':'+port+'/'+query);
        this.socket.onopen = function() {
            _this.onOpen()
        }
        this.socket.onmessage = function(event) {
            data = event.data;
            data = data.split("<split>")
            _this.uid = data[0];
            _this.sign = data[1];
            text = data[2];
            
            if(text!='SETUID') {  
                _this.onData(text);
            } else {
                _this.onRegist()
            }
        }        
        this.socket.onclose = function(event) { 
            _this.onClose();
        }; 
    }
    this.onRegist = function() {

    }
    this.onClose = function() {

    }

    this.onOpen = function() {

    }

    this.onData = function(text) {

    }
    
    this.sendData = function (text) {
        var data = this.uid+'<split>'+this.sign+'<split>'+text
        this.socket.send(data);
    }
    
    this.close = function() {
        this.socket.close();
    }
}

 

 

<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<script src="socketclient.js"></script>
</head>

<body>
<script>
var client = new SocketClient("192.168.199.3",88,"chat");

client.connect();

client.onData  = function(text) {
    console.log(text);
    element=document.getElementById("log");
    if(element){
       if(element.value.length >100000) {
	 element.value="";
	}
       element.value += (text + "\n");
       element.scrollTop = element.scrollHeight;
    }
}

client.onRegist = function() {
    this.sendData("I am coming!");
}

</script>

<textarea name="log" id="log" style="font-size:12px; width:100%; height: 600px;">Tcpdump log:</textarea>
</body>
</html>

 

  • 演示说明

Server运行tcpdump,用户在浏览器查看运行的实时数据。

  • 大小: 223.3 KB
0
0
分享到:
评论
1 楼 白云飞 2013-12-11  
兄弟能不能发一份完整的源码到我邮箱?luochengwei2008@163.com

相关推荐

    Python库 | oslo.log-3.15.0.tar.gz

    **Python库oslo.log介绍** oslo.log是OpenStack项目中的一个核心库,它为其他OpenStack组件提供了统一的日志处理框架。这个库的主要目的是为了简化日志管理和配置,提供一致的日志输出格式,便于开发者调试和运营...

    工作积累(6)-使用python进行log分析

    标题“工作积累(6)-使用python进行log分析”指出,这个话题主要关注如何利用Python语言对日志(log)数据进行分析。在IT行业中,日志文件是系统、应用程序或服务运行过程中产生的记录,用于追踪错误、调试问题、监控...

    Python写的服务监控程序实例

    【Python服务监控程序】是指使用Python编程语言编写的一种软件,用于监测系统中的服务状态,确保服务的稳定运行。服务监控程序通常包括启动、停止、重启服务的功能,并在服务出现异常时进行报警或自动恢复,以减少...

    Python库 | oslo.log-3.45.0-py2.py3-none-any.whl

    总的来说,oslo.log是Python后端开发中的重要工具,尤其在大型分布式系统中,它的功能强大且易于使用,可以帮助开发者更好地管理和理解他们的应用程序的行为。通过合理利用这个库,可以提高代码的可维护性,同时降低...

    Python库 | ads_log_daemon-0.1.0.tar.gz

    《Python库ads_log_daemon-0.1.0:打造高效日志处理系统》 在IT行业中,Python因其简洁明了的语法和丰富的库支持,成为开发后端服务的热门选择。今天我们要探讨的是名为“ads_log_daemon”的Python库,它是一个用于...

    Python库 | tourbillon_log-0.4.1-py2.py3-none-any.whl

    Python库是开发者在编程时经常会使用到的重要工具,...总的来说,`tourbillon_log`库为Python开发者提供了一个强大的日志管理工具,通过它,我们可以更好地组织、监控和分析应用程序的日志,从而提高开发效率和维护性。

    python解析日志文件并且导出到excel中

    要解析`nextcloud.log`,首先需要导入Python的`pandas`库,这是一个用于数据处理和分析的强大工具。我们可以创建一个DataFrame来存储日志数据,然后使用`pandas.read_csv()`或自定义解析函数将日志文件读入DataFrame...

    Python库 | islog-0.1.0.tar.gz

    在Python的世界里,丰富的第三方库是其强大功能的重要支撑。今天我们要探讨的是一个名为"**islog**"的Python库,版本号为0.1.0,它封装在名为"**islog-0.1.0.tar.gz**"的压缩包中。这个库可能是为日志管理、记录和...

    Python库 | notion_log_exec-0.1.0.tar.gz

    在IT行业中,Python作为一门简洁且强大的开发语言,被广泛应用于各种领域,包括后端开发、数据分析、自动化脚本等。Python库是其生态系统的重要组成部分,它们提供了丰富的功能,帮助开发者快速实现特定任务。今天...

    Python库 | servyou-log-1.5.tar.gz

    "servyou-log-1.5"这个库很可能是一个日志管理工具,专门用于处理Python应用程序中的日志记录。在软件开发中,日志记录是非常重要的一环,它能帮助开发者追踪程序运行的状态,定位和解决错误。日志可以记录各种信息...

    Python库 | hopeit.log-streamer-0.12.1.tar.gz

    2. **实时流处理**:实时处理日志流意味着开发者可以立即看到应用程序的行为,这对于调试和监控至关重要。 3. **过滤和格式化**:希望这个库能提供过滤器,允许用户根据需要筛选特定的日志级别或关键字,同时提供...

    Python库 | pyats.log-21.8-cp37-cp37m-macosx_10_16_x86_64.whl

    【Python库 | pyats.log-21.8-cp37-cp37m-macosx_10_16_x86_64.whl】是一个针对Python开发的库,用于日志管理。该库是PyATS项目的一部分,PyATS(Python Automated Test Suite)是一个全面的自动化测试框架,由思科...

    Python库 | pyats.log-19.10.1-cp37-cp37m-manylinux1_x86_64.whl

    总的来说,pyATS.log库是Python后端开发中的一个实用工具,特别适合网络设备测试和监控场景。通过其强大的日志管理能力,开发者可以更好地理解和控制他们的应用程序在运行时的行为,从而提升整体的开发效率和产品...

    基于python实现的linux后台日志监控小项目

    Python作为一种强大的编程语言,因其简洁的语法和丰富的库资源,常被用于开发各种自动化工具,包括日志监控。本项目就是结合Python技术,构建一个针对Linux后台日志的监控系统。 首先,我们要理解Linux日志的基本...

    Python库 | django_log_formatter_ecs-0.0.5.tar.gz

    Django作为Python的一个强大框架,为开发者提供了高效、安全且可扩展的平台来构建复杂的Web应用。本文将围绕"django_log_formatter_ecs-0.0.5.tar.gz"这个Python库展开,探讨它在Django日志管理和云服务中的应用。 ...

    python.zip---log打印

    在Python编程中,日志(log)打印是一个关键的实践,它用于记录程序运行过程中的信息,以便于调试、故障排查和系统监控。在后端开发中,良好的日志管理可以提升开发效率,确保系统的稳定运行。下面我们将深入探讨...

    Python程序设计:python apache日志分析.pptx

    Apache日志分析是系统监控和故障排查的重要环节,特别是在服务器管理中,理解并解析Apache的日志可以帮助我们了解网站的访问情况、找出潜在的问题以及优化性能。在这个任务中,我们将使用Python来处理Apache的访问...

    解决python 读取 log日志的编码问题

    在Python编程中,处理日志(log)文件是常见的任务,特别是当需要分析或监控程序运行情况时。本文将深入探讨如何解决Python读取GBK编码的日志文件时遇到的编码问题,以及提供一些相关的日志处理技巧。 首先,我们要...

    PyPI 官网下载 | aliyun-log-python-sdk-0.6.48.3.tar.gz

    6. **实时查询**:提供强大的实时查询接口,可以快速查询日志数据,支持多种查询条件和过滤器。 7. **日志导出**:可以将大量日志数据导出到本地或指定存储,便于离线处理。 8. **日志聚合**:支持基于时间窗口的...

    python-log-parse-example:Python中的简单日志解析示例

    总之,Python提供了强大的工具来处理日志解析任务,而`python-log-parse-example`就是一个很好的起点,它展示了如何利用Python实现这一功能。无论你是初学者还是经验丰富的开发者,都能从中受益,掌握日志分析的关键...

Global site tag (gtag.js) - Google Analytics