Python实战1-监测线上日志，为系统稳定保驾

 线上系统的稳定，不仅需要细心的编程，对各种临界、异常情况的考虑，也包括在系统出现故障的情况下，我们能在第一时间发现并定位，快速解决问题。这里我想借助python解析关键点的线上日志，并将解析结果导入sqlite数据库，通过一些方式获取统计结果（比传统的grep xxx要快速和方便很多），这样在系统beta发布或外部因素影响时，观察若干分钟，对比关键点的日志统计数据就能最快的发现系统是否稳定运行。

 

分析问题后，觉得可以通过下面几个模块协作来完成我的需求

 

1）日志记录行数据切分检测：用户提供1条日志样本和数据分隔符，正确取出数据

2）数据库表创建：用户提供表字段名、字段和日志行数据切分后的对应关系

3）日志行解析：1）需要该模块的支持，同时该模块提供对4）模块的支持

4）日志过滤收集：日志行数据解析为sql插入语句

5）sql数据插入：执行insert操作，根据数据量的多少进行优化，本质是减少IO操作

6）数据统计分析：根据表字段分组排序统计

7）异常数据告警：扩展用

 

注意点：

1）系统输出的日志最好有统一格式，明确的分隔符便于解析；也不要有中文，避免有乱码