awk使用实例

awk使用实例（转载）

2009-08-25 16:41

简介

awk是一种编程语言，非常适合处理文本，使用简单，功能却很强大。awk扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行

示例

基本使用

输出文件的第一列

awk '{print $1}' access_log

使用自定义的分隔符（默认是空格）

awk -F ', ' '{print $1}' access_log
awk -F '&q=' '{print $2}' access_log

条件判断

awk '$9==304 {print}' access_log
awk '$6 > 0 {print $10}' access_log  

正则匹配

awk '$7~/^\/ppp/ {print $7}' access_log
awk '$7!~/^\/manage/ {print $7}' access_log

显示多个字段

awk '{print $1, $6}' access_log

改变输出格式

awk '{print "req:\t" $7 "\t" $9}' access_log

使用printf格式化输出

awk '{printf("req:\t%s\t%.2f\n", $6, $9)}' access_log

使用外部文件

当脚本比较复杂时，可以将脚本放到外部文件，通过-f选项指定

awk -f slowreq.awk access.log

外部文件内容：

$6 > 0 {
        split($10,a,"?");
        req=a[1];
        print req;
        
}

BEGIN和END块

awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。同时awk在处理了输入文件中的所有行之后会执行END块。通常，END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息

对某一列求和

awk 'BEGIN{sum=0} {sum=$9+sum} END {print "sum " sum}' data

内部变量

常用的包括

• FS 输入的分隔符，也就是-F指定的

  awk 'BEGIN {FS="-"}{print $3}' access_log

• OFS 输出的分隔符

  awk 'BEGIN {OFS="-"}{print $1, $6}' access_log

• FNR 输入文件的记录数

  // 求平均数
  awk 'BEGIN{sum=0} {sum=$9+sum} END {print "average " sum / FNR}' access_log

• NF 当前行的字段数

  // 从第6个字段开始输出
  awk '{for(i=6; i<NF; ++i){printf "%s,",$i};printf "%s\n", $NF}' access_log

• NR 当前处理的行数

  // 从第6行开始输出，到100行为止，并打印出行数
  awk '{if(NR >= 6 && NR <=100) printf "%d: %s\n", NR, $7}' access_log

组合使用

awk通常都与sort等命令组合使用

// 输出第七个字段的前10名
awk '{print $7}' access_log|sort |uniq -c |sort -n -r |head -10

参考资料

• man awk
• IBM dw: Awk 实例 1 2 3
• Oracle OTN: AWK：Linux 管理员的智能工具包

转载自：http://blog.csdn.net/chenqj/archive/2008/10/08/3032392.aspx

另外，求平均数用awk 'BEGIN{sum=0} {sum=$9+sum} END {print "average " sum / FNR}' access_log要远远比使用awk先取出所需列，然后使用for循环求和后再取平均值的效率要高得多得多。