`
xianbin
  • 浏览: 215228 次
  • 来自: ...
社区版块
存档分类
最新评论

根据时间段查询log日志，拆分日志等

CentOS 
阅读更多
示例一：
日志格式：
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property
wechat_Log:[2014-09-17 09:09:22]  WARN JSONObject:446 - Tried to assign property


使用命令：
cat info.log.2014-09-17 | grep -E '2014-09-17 09:09:[23-59]' | more



示例二：
日志格式：
00:01:59 +0800] "GET /service/images_new/ser_zdcx.jpg HTTP/1.1" 200 3471 "-" "113.105.146.7" 3297
00:01:59 +0800] "GET /service/images_new/ser_tcyl.jpg HTTP/1.1" 200 3578 "-" "113.105.146.7" 3151
00:01:59 +0800] "GET /service/images_new/ser_gprs.jpg HTTP/1.1" 200 3432 "-" "113.105.146.7" 3117
00:01:59 +0800] "GET /service/images_new/ser_jfcx.jpg HTTP/1.1" 200 3881 "-" "113.105.146.7" 2543
00:01:59 +0800] "GET /service/images_new/ser_yytcx.jpg HTTP/1.1" 200 3986 "-" "113.105.146.7" 2893
00:01:59 +0800] "GET /service/images_new/ser_tczycx.jpg HTTP/1.1" 200 2555 "-" "113.105.146.7" 2914
00:01:59 +0800] "GET /service/adv_images/ad/20141106000553276.jpg HTTP/1.1" 200 19412 "-" "113.105.146.7" 4509
00:01:59 +0800] "GET /service/adv_images/ad/20141118164935255.jpg HTTP/1.1" 200 13745 "-" "113.105.146.7" 3787
00:01:59 +0800] "GET /service/images_new/hsj_100_1212.bmp HTTP/1.1" 200 6138 "-" "113.105.146.7" 2752
00:01:59 +0800] "GET /service/adv_images/ad/20141105235722903.jpg HTTP/1.1" 200 30682 "-" "113.105.146.7" 4965
00:01:59 +0800] "GET /service/images_new/ser_zxdx.jpg HTTP/1.1" 200 3557 "-" "113.105.146.7" 2837
00:01:59 +0800] "GET /service/adv_images/ad/20141105235813229.jpg HTTP/1.1" 200 28149 "-" "113.105.146.7" 5408
00:01:59 +0800] "GET /service/images_new/ser_indsale1.jpg HTTP/1.1" 200 10553 "-" "113.105.146.7" 3016
00:01:59 +0800] "GET /service/adv_images/ad/20141105235933683.jpg HTTP/1.1" 200 42604 "-" "113.105.146.7" 5438
00:01:59 +0800] "GET /service/payfeeonline/initPage.do HTTP/1.1" 302 244 "13876691991,hi" "117.136.13.27, 120.196.212.23" 186
00:01:59 +0800] "GET /service/images_new/public_sjzf.png HTTP/1.1" 200 2321 "-" "113.105.146.7" 15663
00:01:59 +0800] "GET /service/images_new/public_wxyy.png HTTP/1.1" 200 3346 "-" "113.105.146.7" 2913
00:01:59 +0800] "GET /service/images_new/ser_indsale2.jpg HTTP/1.1" 200 7276 "-" "113.105.146.7" 3007


使用命令：
gawk -F: '{ printf ("%s:%s:%s\n", $2,$3,$4) }' web-20141216.log | grep -E '00:01:5[5:9]' | more

解释：先将日志按照冒号拆分，然后取时间部分以及后续字符部分，并查找00:01:5X时间的日志。
1
顶
1
踩
分享到：
| Java中判断文件是否是图片文件
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    CANOE Log截取及分析方法.pdf

    本文档主要针对初学者，详细介绍了如何使用CANoe软件截取实车CAN通信日志（简称CANoe Log），并对其进行分析。以下为本教材所涉及的详细知识点： 1. CANoe Log的截取方法： - 首先打开CANoe软件。 - 调出Log设置...

    日志分割带有完整的说明，对linux上面产生的日志进行分割

    2. **提高查询效率**：小文件比大文件更容易搜索和处理，尤其是当需要回溯特定时间段的日志时。 3. **便于归档和备份**：小文件更易于备份和归档，可以按日期进行组织。 4. **保持系统性能**：大文件可能会对文件...

    基于Hadoop实现对网站日志数据分析 包含150M .log数据

    本项目以"基于Hadoop实现对网站日志数据分析"为主题，利用Java编程语言，通过MapReduce框架对150M的.log文件进行深度挖掘和分析。 1. **Hadoop**：Hadoop是Apache软件基金会的一个开源项目，它的核心包括HDFS...

    详解mysql 获取某个时间段每一天、每一个小时的统计数据

    在MySQL数据库中，获取某个时间段内每一...在实际项目中，这样的查询对于数据分析、监控系统、日志分析等场景非常有用，可以帮助我们了解数据的分布和趋势。正确地编写和优化这类SQL语句，能够有效地提升数据分析效率。

    基于Hadoop的网站日志分析程序.zip

    1. **日志格式**：理解网站日志的一般格式，如Apache的Common Log Format（CLF）或NCSA扩展格式，其中包含了请求时间、客户端IP、请求方法、URL、HTTP状态码等信息。 2. **日志解析**：编写MapReduce程序的第一步是...

    AbyssWS Log Splitter-开源

    通过识别和解析这些日志，AbyssWS Log Splitter能够准确地拆分出不同时间段的日志，帮助管理员快速定位问题，同时减轻了存储压力，提高了数据检索效率。 开源软件是这个项目的另一大亮点。开源意味着代码公开，用户...

    timequerylog:每小时分别进行JSON日志记录并且易于查询

    这样做的想法是通过以一致的方式分解文件来提高查询特定时间段或数据/事件类型的日志的效率。 当不一定总是需要立即查询子类型数据时，您可能希望使用子类型来拆分数据以提高效率。 例如，代替记录error类型的所有...

    20个「MySQL」经典面试题

    12. **监控和慢日志查询**： - 使用MySQL监控工具如Percona Monitoring and Management (PMM)、MySQL Enterprise Monitor等。 - 查询慢日志以识别低效SQL，优化查询。 13. **主从一致性校验**： - 使用pt-table-...

    MySql性能优化的几种解决方案

    例如，将包含大量订单数据的表按订单日期进行分区，可以快速定位到特定时间段的数据。使用`PARTITION BY RANGE`语句可以创建按值范围分区的表，如`CREATE TABLE orders2020 PARTITION BY RANGE(order_date)...

    MySQL架构演变与性能优化最终版

    - **long_query_time**：设定阈值，超过该时间的查询将被记录到日志中。 - **explain**：通过`EXPLAIN`命令可以查看查询计划，帮助判断索引是否得到有效利用。 **2.8 Innodb主键优化** - **主键自增**：使用自增...

    MySQL经典面试题.docx

    11. **InnoDB读写参数优化**：包括innodb_buffer_pool_size、innodb_log_file_size、innodb_io_capacity等，根据硬件资源和工作负载调整。 12. **数据库监控**：使用工具如MySQL Enterprise Monitor、Percona ...

    文件分割工具

    如果知道某个事件发生的时间范围，可以通过查看相应时间段的日志文件片段，而不是在整个大文件中搜索。这大大提高了工作效率，尤其是在分析大量数据时。 此外，分割后的文件在存储和传输方面也更方便。大文件可能...

    经验大数据量处理及存储代码优化过程.docx

    - 日志记录优化：使用异步日志框架（如Log4j的AsyncAppender）或批量写入日志，避免每次处理一条记录就写入日志的开销。 - 分批次处理数据：根据系统性能和数据库吞吐能力，将大文件拆分为小批次，逐批处理和提交，...

    第三阶段-数据库服务大纲.docx

    - **MySQL Workbench**：集成了许多实用工具，如设计数据库模型、执行 SQL 查询等。 - **Navicat**：多平台支持，提供直观的用户界面。 ##### 12. Binlog 日志 - **日志类型**：行级日志和语句级日志。 - **用途**...

    【ssm项目源码】实验室管理系统.zip

    - **实验预约**：学生和教师可以在线预约实验时间，系统应考虑并发冲突，防止同一时间段被多人同时预约。 - **权限管理**：不同角色（如管理员、教师、学生）有不同的权限，如查看、修改或删除信息。 - **用户...

    定时执行任务例子 绝对好用

    这段代码从配置文件中读取了`dsrwtime`键对应的值，然后拆分成小时和分钟，用于设置定时任务的执行时间。 ### 4. 处理异常和日志 在读取配置文件或执行任务时可能会遇到异常，如`IOException`。在示例中，捕获了...

    软件工程的软件工程故障排查.pptx

    - **Graylog** 提供了灵活的日志管理和搜索功能。 - **性能测试工具** - **Apache JMeter** 适用于开源负载测试。 - **Gatling** 和 **Micro Focus Performance Center** 用于微服务性能测试。 - **LoadRunner**...

    2021最新最全大数据面试宝典-有答案

    HBase热点问题解决：HBase热点问题可以通过预分区、Region拆分和合理设计RowKey等方式解决。 Flink相关知识点 Flink容错机制：Flink使用分布式数据快照（Checkpoint）机制进行容错。 Flink中的Time：Flink支持...

    Java开发者的十大戒律

    为了避免在生产环境中使用`System.out.println()`，可以采用日志框架如Log4j，并设置不同的日志级别。例如： ```java public static void calculationWithPrint(int logMode) { double someValue = 0D; for(int i ...

    java版本db2数据库的备份还原

    5. **检查备份结果**：检查生成的日志文件(ecgap.log和ecgapdata.log)，确认没有错误发生。 6. **拆分DDL文件**：如果存在外键约束，需要将DDL文件拆分为两部分，一部分保留DDL语句，另一部分保留外键约束语句。 #...

Magicbox
Global site tag (gtag.js) - Google Analytics