`
mingren135
  • 浏览: 72494 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Python实战1-解析日志模块

 
阅读更多

根据用户提供的分隔符,分解日志数据

 

该模块作用有2个:

1)提前检测能否正确解析日志,否则用户需要修改分隔符,或者日志格式

2)准备导入数据库的数据

 

 

logparse.py

def parselogline(line, tupleseperatorlist):
    '''
    input
        line: line in log file
        tupleseperatorlist: seperators in tuple
    output
        splited values
    '''
    data = []
    
    for tupleseperator in tupleseperatorlist:
        head = tupleseperator[0]
        end = tupleseperator[1]
        
        if not head : 
            endindex = line.find(end)
            value = line[0:endindex]
        elif not end:
            headindex = line.find(head)
            value = line[headindex + len(head) :]
        else :
            headindex = line.find(head)
            endindex = line.find(end)
            value = line[headindex + len(head): endindex]
        data.append(value) 
    return data

 

分享到:
评论

相关推荐

    【Python实战】--demo_get_biandutuku

    【Python实战】--demo_get_biandutuku:批量下载百度图库 在IT行业中,Python是一种广泛应用的编程语言,尤其在数据处理、自动化任务和网络爬虫领域。本项目"demo_get_biandutuku"正是一个利用Python进行实战操作的...

    Python项目开发实战_Pillow模块-图像处理_编程案例解析实例详解课程教程.pdf

    【Python图像处理与Pillow模块】 Python在图像处理领域广泛使用Pillow库,它是对已停止维护的Python Imaging Library(PIL)的分支和升级版本。Pillow不仅继承了PIL的功能,还修复了一些已知问题,并增加了对新特性...

    Python网络爬虫实战-Scrapy1-4_课件

    **Python网络爬虫实战——基于Scrapy框架** 在IT领域,网络爬虫是获取大量互联网数据的重要工具,而Python作为编程语言中的佼佼者,因其语法简洁和丰富的库支持,成为了编写爬虫的首选。本课程聚焦于使用Python的...

    Dive.Into.Python-zh-cn-5.4-with-code

    11. **案例实战**:书中提供了丰富的实例,如创建简单的Web服务器、分析日志文件、构建网络爬虫等,帮助读者将理论知识应用于实践中。 附带的`diveintopython-examples-5.4`文件夹很可能是包含书中所有示例代码的...

    Python项目-实例-20 快递查询.zip

    在本项目"Python项目-实例-20 快递查询.zip"中,我们可以探索一个基于Python的快递查询系统。这个系统可能使用了Python...对于想要从事Python开发,尤其是web开发或者数据抓取的同学来说,这是一个非常实用的实战案例。

    艾伯特Python网络爬虫实战.pdf

    这本书可能会教授读者如何使用Python的其他库和框架来完善爬虫的这些功能,比如使用logging模块进行日志记录,使用SQLite或者MySQL等数据库进行数据存储,以及可能涉及到的中间件,如代理服务器的使用,来规避爬虫被...

    python实战项目源码1 学生信息管理系统.zip

    《Python实战:学生信息管理系统详解》 Python作为一种高级编程语言,因其简洁明了的语法和强大的功能,被广泛应用于各种领域,包括开发信息管理系统。本篇文章将深入探讨一个基于Python的学生信息管理系统,通过...

    NSW-Public-Holidays-Python-Web-Scrapper

    1. **Python基础知识**: - **语法与结构**:项目基于Python的基础语法,包括变量定义、条件语句、循环、函数等。 - **模块导入**:可能用到`requests`库来发送HTTP请求,`BeautifulSoup`进行HTML解析,`datetime`...

    Python库 | poonia-0.1.11.tar.gz

    《Python库Poonia-0.1.11:深入解析与应用》 在Python的广阔天地里,各种库如繁星般璀璨,为开发者提供了强大的工具箱。今天我们要聚焦的便是其中的一颗明星——Poonia库,版本号0.1.11,它以`.tar.gz`格式封装,为...

    Beginning Python Using Python 2.6 and Python 3.1 - James W. Payne.pdf )

    《Beginning Python: Using Python 2.6 and Python 3.1》是一本由James W....无论你是编程新手还是有一定经验的开发者,本书都能为你提供丰富的知识和实战技巧,帮助你在Python的世界里不断探索和成长。

    Python3-廖雪峰[带标签完整版]

    ### Python3基础教程概览与核心知识点解析 #### 一、Python简介 - **定义**:Python 是一种广泛使用的高级编程语言,以其简洁清晰的语法著称,支持多种编程范式,包括面向对象、命令式、函数式以及过程式编程。 - *...

    Python数据抓取技术与实战.pdf

    由于提供的文件信息中并没有具体的Python数据抓取技术与实战内容,我无法生成具体的技术知识点。但是,我可以根据标题“Python数据抓取技术与实战.pdf”来构建一些关于Python数据抓取的基础知识点和实战技巧。 知识...

    Python零基础入门学习教程

    ### Python实战开发 #### 1. Web开发 - **Flask框架**:轻量级Web应用框架,易于上手,适合小型应用或快速原型开发。 - **Django框架**:功能强大的企业级Web框架,支持ORM、用户认证等功能。 #### 2. 数据分析与...

    资料-python实战项目美多商城.zip

    **Python Django实战项目:美多商城** 美多商城是一个基于Python的Django框架构建的前后端分离的电子商务网站。在本项目中,我们将探讨Django的特性、如何使用它来开发复杂的Web应用以及如何实现前后端的数据交互。...

    xbee-python-master_xbeeandpython_xbee_graincs1_TheMaster_youpix_

    这个项目不仅提供了基本的通信示例,还可能包含更复杂的功能,如多节点通信、数据解析等,对于提升Xbee与Python的实战技能非常有帮助。 总的来说,掌握Xbee与Python的连接技术,能够让我们在IoT领域构建出高效、...

    Python-wolf外汇市场交易平台

    1. `src` 或 `app` 目录:包含主要的Python源代码,可能有模块化的文件组织,如`trading.py`负责交易逻辑,`data.py`负责数据处理,`analysis.py`进行市场分析等。 2. `config` 目录:存储配置文件,如API密钥、...

    python演唱会抢票

    Python演唱会抢票是一个常见的实战项目,它涉及到网络爬虫、多线程/进程、定时任务以及模拟登录等技术。在Python编程中,这些是极为重要的知识点,尤其对于想要提升自己技能的开发者来说,掌握这些技术将有助于解决...

    Okken -- Python Testing with pytest -- 2022.pdf

    相比于Python标准库中的`unittest`模块,pytest提供了更加简洁易用的接口,支持多种高级特性,如参数化测试、插件扩展等,使得测试工作变得更加高效。 #### 书籍内容概要 《Python Testing with pytest》第二版...

    【Python自动化办公应用实战案例】Python自动发送邮件(代码)

    本实战案例将深入探讨如何使用Python来实现自动发送邮件的功能,这对于日常的工作汇报、数据分享或是系统通知都有着极大的便利性。Python的smtplib和email库为我们提供了构建邮件并发送的必要工具。 首先,我们需要...

    Python 零基础入门学习

    1. **Python简介**: - Python的发展历史。 - Python的应用领域:Web开发、数据分析、人工智能、自动化脚本编写等。 - Python的优点:简洁易读、强大的第三方库支持、跨平台性。 2. **安装与配置**: - Python...

Global site tag (gtag.js) - Google Analytics