1.日志格式如：
2013-03-05 13:17:45,657 [3612510923] INFO -promotion.util.TaskFlowProcess - 任务正在执行id=260,sourceSize=2999,filterSize=2429, telSize=242
........
2.脚本
egrep -E 'id=[0-9]{1,4},sour' sms_log.txt|cut -c 80-| awk -F'[=,]' '{a[$2]++;s1[$2]+=$4;s2[$2]+=$6;s3[$2]+=$8;} END {for (i in a) print i,"soucre="s1[i],"filter="s2[i],"telsize="s3[i]}'
3.结果
260 soucre=499840 filter=412181 telsize=412180
261 soucre=499840 filter=412181 telsize=0
分享到：
相关推荐
这个就是拿linux shell写的脚本，用来分析hadoop运行时的错误日志
本解本实现了使用shell脚本实现nginx日志分割，大家如果没资源分下载，可以转至：https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家
在linux下使用此脚本可以自定义日志，记录所有的shell命令
当我们处理日志文件时，格式化日志输出是一项重要的任务，因为它有助于数据分析、故障排查和系统监控。这篇博客“shell格式化日志输出”可能涉及了如何利用shell脚本对日志数据进行有效管理和解析。 在Linux环境中...
本文将详细介绍如何使用 Shell 脚本来监控 Linux 服务器日志，并在出现关键字异常时触发相应的动作或告警操作，通知到邮件联系人。 安装邮件服务 为了实现邮件告警功能，需要先安装邮件服务。可以使用 mailx 软件...
针对日志文件可能过大的情况，`log4sh`提供了日志滚动功能，可以按照时间或文件大小自动切割日志，同时保留一定数量的历史日志备份，便于长期存储和审计。 5. **性能优化** 为了确保不影响脚本的运行效率，`log4...
在这个场景中，我们关注的是如何利用shell脚本来监控应用程序日志，特别是针对日志中的错误信息进行实时检测。`checkwarning.cfg`和`checkref.cfg`可能包含的是监控规则和配置信息，而`checkwarning.sh`和`checkref....
在本文中，我们使用 shell 脚本来实现 Tomcat 日志文件的切割和删除。 知识点三：cron 机制的应用 cron 机制是 Linux 操作系统中的一种定时任务管理机制，可以根据用户的需求，执行特定的任务。本文中，我们使用 ...
shell 处理apache日志入库 awk分析apache日志为*.sql文件 sqlplus写入oracle
鉴于在调试logback和log4j的文件切割一直无法成功，随性用shell写个脚本用来切割tomcat下的日志文件(大家如果有在logback或log4j使用文件切割成功的话，可以留下使用方式，先谢谢了) 1：废话少说，直接贴上脚本： #...
cat /mnt/log_function.sh #!/bin/bash #log function ####log_correct函数打印正确的输出到日志文件 function log_correct () { DATE=`date “+%Y-%m-%d %H:%M:%S”` ####显示打印日志的时间...log_error打印shell脚本
办公的时候想要合并多个Excel表格，一个个来拷贝粘贴，如果文件很多就要花很多时间，前面试了很多种方法,先用office和Python,感觉还是有点麻烦,后面自己写了shell脚本。
Shell脚本，springboot服务器日志清空脚本，清空服务器上logs下所有*.log结尾的日志文件。
linux shell 合并与分割
首先，"切割日志"通常指的是日志分割，这是为了便于管理和分析大型日志文件。`cut_nginx_log.sh`可能是一个Shell脚本，用于按特定格式或时间间隔将日志文件分割成多个小文件。这通常包括查找日志文件中的时间戳，...
通常，日志切割有助于保持日志文件的大小可控，避免单个文件过大导致的读写性能问题，同时也有利于对历史日志进行归档和分析。 日志切割在Linux中常见的工具有`logrotate`和自定义shell脚本。`logrotate`是一个自动...
nginx按天进行日志切割脚本，同样适合其它很多服务日志的切割，压缩包包含shell切割脚本和使用说明，该脚本适合nginx同时也适合其他类似服务的日志切割，只要简单修改shell脚本即可，灵活多变，实用。
从给定的文件信息中，我们可以提取到关于Shell脚本、Awk以及Sed的一些关键知识点，下面将详细解析这些内容： ### Shell 脚本基础 #### 变量读取与赋值 在Shell中，可以使用`read`命令从输入流中读取数据并赋值给...
在给定的脚本中，使用bash shell编写了一个简单的日志切割脚本，它通过命令行工具如`mv`（移动文件）和`date`（处理日期）来实现日志的重命名和时间戳的添加。 4. **USR1信号**：在Nginx中，向主进程发送USR1信号...