`

awk

 
阅读更多
http://coolshell.cn/articles/9070.html

[0;31;40m5

^[[0;31;40m5.925^[[0m

awk 'substr($4, 11, 10) > 5'  ****


ls /data/nginx/logs/access_2014123*.bz2 | xargs -i tar -xjvf {}

grep "task_id=corp_466765_113506124" access_2014121[5,6].log > 20141215_vcf5.txt
awk '{print $10}' 20141215_vcf5.txt > dps_task.txt

实例:
awk '$12==502' /data/nginx/logs/access.log   nginx 日志查询返回502的例子
awk 'substr($12, 11, 3)==502'/data/nginx/logs/access.log




命令分析日志
cat *.log >example.log #合并后缀名为log的日志文件,你也可以合并指定的日志
grep "Baiduspider+" example.log >baiduspider.txt #拆分日志
egrep "Baiduspider+|Googlebot" example.log >spider.txt #将包含“Baiduspider”和“Googlebot”的找出来
grep "Baiduspider+" example.log |awk '{print $1 "\t" $4 "\t" $7 "\t" $8 "\t" $9 "\t" $10}' #显示指定的内容
cat access.log |grep Baiduspider |awk '{print $7}'|sort -u|wc #统计不重复的
|awk -F 'kw=' '{print $2}'| 指定分割符为“kw=” 打印第2列
|sort |uniq -c| 取出重复 -c为在前面加一列显示重复个数 必须要先sort下。因为uniq只能排除相邻的相同
sort -n -k1 -r 排序:-k1 按第一列排序 -n 按数字排序 -r 反向排序
|head -n 40 显示前40行
awk '{i=9;while(i<=NF) {print NF,$i;i++}}' 循环 NF是最大列数
awk '{for(i=9;i<=NF;i++) {printf NF,$i}}'
egrep "abc"+"|bcd"| 包含abc或bcd
egrep 'abc|bcd'|
|wc -l 统计数量 -l为行数 -c 字符数
awk '{if ($1<10) {print "00"$1} else if (true){print $2}}' if语句
|awk '{a=a+$0}END{print a/NR}' 统计所有列相加后去平均。 END 只打印最后一个 NR 有多少列
grep PID index.log report.log -c 显示每个文件各有多上行
awk '{print $0}' 显示所有的列
grep -A 4 error a.txt 匹配行和它后4行
grep -B 4 error a.txt 匹配行和它前4行
grep -C 4 error a.txt 匹配行和它前后各4行
grep -v 去除匹配的

sed在后面追加一列
echo "a"|sed 's/$/ abc/'

awk传参数进去 需要加单引号
TIME=100
|sort -r -n -k1|awk '{if ($1>'$TIME') {print ..}

----结束----
http://liyanblog.cn/articles/2012/12/11/1355206944714.html
版权所有 转载请注明出处:linux命令分析日志 grep awk sort - 李岩的博客
分享到:
评论

相关推荐

    awk入门到精通.pdf

    《awk入门到精通》是一本专为对awk语言感兴趣的学习者设计的实用指南,旨在帮助他们理解和掌握awk的基本概念、语法以及如何有效运用这一强大的文本处理工具来解决各类问题。awk作为一种解释型语言,在文本处理领域中...

    Sed与Awk (中文版)

    **sed和awk工具的介绍与应用** sed和awk是广泛应用于UNIX系统中的两个文本处理工具。sed是流编辑器(stream editor)的缩写,而awk则是一种编程语言,得名于其三位开发者:Alfred Aho、Peter J. Weinberger和Brian ...

    ass109.awk

    2. **运行awk脚本**:将生成的trace文件作为"ass109.awk" 的输入,执行命令如`awk -f ass109.awk trace_file_name.trc`,脚本会解析文件并输出关键信息。 3. **分析结果**:"ass109.awk" 可能会输出SQL语句、等待...

    巧用AWK处理二进制数据文件

    "巧用AWK处理二进制数据文件" AWK是Unix、Linux中处理文本的好工具,可以对复杂的文本文件进行整理,提取其中的全部或者部分数据,按照需要的格式予以显示。但是,AWK的强大功能只针对纯文本文件,对于带有很多不可...

    Effective awk Programming, 4th Edition[awk高效编程4版]

    《Effective awk Programming, 4th Edition》是一本深入讲解awk编程技术的专业书籍,旨在帮助读者提升在文本处理和数据操作中的效率。awk是Unix/Linux环境中的一款强大工具,它专门用于处理结构化的文本数据,如日志...

    The AWK Programming Language 中文版

    AWK是一种非常实用的编程语言,它在文本处理和数据分析方面表现出色。它的特点是编写程序非常简单,即便是只有一两行的程序也能完成复杂的任务。AWK非常适合那些需要快速解决特定数据处理问题的场景。 ### AWK程序...

    awk详细用法小结awk awk

    ### awk详细用法小结 #### 一、awk简介与版本 awk是一种强大的文本分析工具,主要用于Linux/Unix系统下的数据处理与报告生成。它支持正则表达式、模式匹配和复杂的文本处理功能,是系统管理员和程序员进行数据处理...

    MOXA_AWK-3121配置方法及要点说明

    MOXA AWK-3121 配置方法及要点说明 MOXA AWK-3121 是一种工业级无线设备,具有 web 功能配置、IP 网络参数设置、工作模式选择、功率增强等特点。本文将详细介绍 MOXA AWK-3121 的配置方法及要点说明。 一、Web ...

    Oracle ass.awk工具

    ass.awk工具用在数据库hang住时分析收集到的systemstate所用,可以清晰明了的查看systemstate中的信息; 命令简单: $ awk -f ass1033.awk [trace_name_file] 在系统hung的时候,systemstate基本等同于hanganalyze...

    awk参考资料下载awk

    【awk参考资料】深入理解awk awk是一种强大的文本分析工具,主要在Linux/Unix环境中使用,由Alfred Aho、Brian Kernighan和Peter Weinberger三位大师共同开发。它能够处理来自标准输入、文件或命令输出的数据,通过...

    SED与AWK 高清第三版

    《SED与AWK 高清第三版》是一本专注于Linux系统中强大文本处理工具sed和awk的教程。在Linux环境中,sed和awk是不可或缺的工具,它们能够高效地处理大量文本数据,进行搜索、替换、格式化等操作,极大地提高了运维...

    awk教程-awk教程.rar

    **awk命令详解** awk是一种强大的文本分析工具,广泛应用于Linux和Unix系统中,用于处理结构化数据,如CSV、TSV格式的文件。它通过模式匹配和动作来处理输入流中的每一行,允许用户定制复杂的文本处理逻辑。下面将...

    AWK实例教程 AWK实例教程中文版

    ### AWK实例教程知识点解析 #### 一、AWK简介及背景 - **AWK**是一种功能强大的文本处理工具,最初由贝尔实验室的Alfred Aho、Peter Weinberger和Brian Kernighan共同开发,因此得名AWK。尽管这个名字听起来有些...

    awk入门级教材awk入门awk入门

    ### awk入门级教材知识点详解 #### 一、awk简介 **awk** 是一种强大的文本处理工具,主要用于在一组文件上查找符合特定模式的行或字段,并执行相应的操作。它简化了数据选择和转换的过程,使其变得更为直观和简单...

    sed and awk 101 hacks.pdf

    Sed和Awk是UNIX和Linux系统中极为重要的流编辑器和文本处理工具,它们能够通过简单的命令或脚本高效处理文本文件,实现复杂的文本转换和报告生成。接下来,我们将根据提供的文件内容详细地说明Sed和Awk的关键知识点...

    Sed与awk第二版(中文高清版)

    在处理文本数据时,Sed和awk是两个非常强大的工具。它们广泛应用于Unix和类Unix系统中,比如Linux。Sed,即流编辑器,是一个非交互式的文本处理工具,它能够执行文本替换、插入、删除等操作,而awk则是一个强大的...

    awk源码及windows下64位和32位编译说明

    在IT行业中,awk是一种强大的文本分析工具,常用于处理和解析结构化数据文件,如日志文件或CSV数据。在Windows环境下,由于默认不提供awk命令,因此在编译Apache HTTPD服务器等需要awk功能的项目时,我们需要自行...

Global site tag (gtag.js) - Google Analytics