AWK编程总结（1）

AWK综述

awk 适合于文本处理和报表生成。

1 .AWK调用

调用awk有三种方法（与sed类似）：

1）在Shell命令行输入命令调用awk：awk [-F 域分隔符] ‘awk程序段’输入文件

2）将awk程序段插入脚本文件后，然后通过awk命令调用它：awk -f awk脚本文件输入文件【脚本文件的首行不以#!/bin/awk –f开头】

3）将awk命令插入脚本文件后，设置该脚本文件为可执行，然后直接执行该脚本文件，格式为：

   ./awk脚本文件输入文件  【脚本文件的首行以#!/bin/awk –f开头】

 

1.1 以下以调用方式1为例展示AWK命令用法：

如执行$ awk '{ print }' /etc/passwd，会见到 /etc/passwd 文件的内容出现在眼前。调用 awk 时，指定 /etc/passwd 作为输入文件。执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令。所有输出都发送到 stdout，所得到的结果与与执行catting /etc/passwd完全相同。

另一个相同作用的 awk 示例：$ awk '{ print $0 }' /etc/passwd

在 awk 中，$0 变量表示整个当前行，所以 print 和 print $0 的作用完全一样。

还可以创建一个 awk 程序，让它输出与输入数据完全无关的数据。以下是一个示例：$ awk '{ print "" }' /etc/passwd

只要将 "" 字符串传递给 print 命令，它就会打印空白行。如果测试该脚本，将会发现对于 /etc/passwd 文件中的每一行，awk 都输出一个空白行。再次说明， awk 对输入文件中的每一行都执行这个脚本。

 

awk 非常善于处理分成多个逻辑字段的文本，可以毫不费力地引用 awk 脚本中每个独立的字段。以下脚本将打印出系统上所有用户帐户的列表：

$ awk -F":" '{ print $1 }' /etc/passwd

上例中，在调用 awk 时，使用 -F 选项来指定 ":" 作为字段分隔符。awk 处理 print $1 命令时，它会打印出在输入文件中每一行中出现的第一个字段。

  

   同理，外部文件的输入大抵如此。

将脚本作为命令行自变量传递给 awk 对于小的单行程序来说是非常简单的，而对于多行程序，它就比较复杂。在外部文件中撰写脚本。然后可以向 awk 传递 -f 选项，以向它提供此脚本文件：

$ awk -f myscript.awk myfile.in

将脚本放入文本文件还可以使用附加 awk 功能。例如，这个多行脚本与前面的单行脚本的作用相同，它们都打印出 /etc/passwd 中每一行的第一个字段：

BEGIN {

FS=":"

}

{ print $1 }

这两个方法的差别在于如何设置字段分隔符。在这个脚本中，字段分隔符在代码自身中指定（通过设置 FS 变量），而在前一个示例中，通过在命令行上向 awk 传递 -F":" 选项来设置 FS。通常，最好在脚本自身中设置字段分隔符，只是因为这表示您可以少输入一个命令行自变量。

 

1.2 BEGIN 和 END 块

上例中提及了BEGIN和END块。下面来简述一下该部分内容。

通常，对于每个输入行，awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况，awk 允许定义一个 BEGIN 块。

与BEGIN块对应，awk 还提供了另一个特殊块，叫作 END 块。awk 在处理了输入文件中的所有行之后执行这个块。通常，END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

 

 

1.3 规则表达式和块

awk 允许使用规则表达式，根据规则表达式是否匹配当前行来选择执行独立代码块。以下示例脚本只输出包含字符序列 foo 的那些行：/foo/ { print }

以下脚本将只打印包含浮点数的行：/[0-9]+\.[0-9]*/ { print }。

 

1.4 AWK内部变量解析

awk认为输入文件是结构化的，awk将每个输入文件行定义为记录，行中的每个字符串定义为域，域之间用空格、Tab键或其他符号进行分割，分割域的符号就叫分隔符。

 

awk提供的内建变量(变量名全部大写)如下：

 

ARGC：命令行参数的数量。

ARGIND ：命令行正在处理的当前文件的AGV的索引。

ARGV ：命令行参数数组。

CONVFMT ：转换数字格式。

ENVIRON ：从shell中传递来的包含当前环境变量的数组。

ERRNO ：当使用close函数或者通过getline函数读取的时候，发生的重新定向错误的描述信息就保存在这个变量中。

FIELDWIDTHS ：在对记录进行固定域宽的分割时，可以替代FS的分隔符的列表。

FILENAME ：当前的输入文件名。

FNR ：当前文件的记录号。

FS ：输入分隔符，默认是空格。

IGNORECASE：在正则表达式和字符串操作中关闭大小写敏感。

NF ：当前文件域的数量。

NR ：当前文件记录数。

OFMT ：数字输出格式。

OFS：输出域分隔符。

ORS：输出记录分隔符。

RLENGTH ：通过match函数匹配的字符串的长度。

RS ：输入记录分隔符。

RSTART ：通过match函数匹配的字符串的偏移量。

SUBSEP ：下标分隔符。

 

 

先来看几个简单的小例子：

BEGIN {

FS="\n"

RS=""

}

在上面这段代码中，将 FS 设置成 "\n" 告诉 awk 每个字段都占据一行。通过将 RS 设置成 ""，还会告诉 awk 每个地址记录都由空白行分隔。

 

BEGIN {

FS="\n"

RS=""

OFS=", "

}

{

print $1, $2, $3

}

缺省情况下的输出结果，OFS 被设置成 " "，单个空格。不过，我们可以方便地重新定义 OFS，这样 awk 将插入我们中意的字段分隔符。它使用 OFS 来输出那些中间的 ", " 字符串

 

awk 还有一个特殊变量 ORS，全称是“输出记录分隔符”。通过设置缺省为换行 ("\n") 的 OFS，我们可以控制在 print 语句结尾自动打印的字符。缺省 ORS 值会使 awk 在新行中输出每个新的 print 语句。如果想使输出的间隔翻倍，可以将 ORS 设置成 "\n\n"。或者，如果想要用单个空格分隔记录（而不换行），将 ORS 设置成 ""。

 

1.5 AWK重定向

AWK的重定向与Linux/Unix重定向基本一致。

    在动作语句中使用shell通用的重定向输出符号">"就可以完成awk的重定向操作，当使用>的时候，原有文件将被清空，同时文件持续打开，直到文件被明确的关闭或者awk程序终止。来自后面的打印语句的输出会追加到前面内容的后面。符号">>"用来打开一个文件但是不清空原有文件的内容，重定向的输出只是被追加到这个文件的末尾。

    /> awk '$4 >= 70 {print $1,$2 > "passing_file"}' filename  #注意文件名需要用双引号括起来。

   

    awk中对于输入重定向是通过getline函数来完成的。getline函数的作用是从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。他负责从输入获得下一行的内容，并给NF、NR和FNR等内建变量赋值。如果得到一个记录，getline就返回1，如果达到文件末尾就返回0。如果出现错误，如打开文件失败，就返回-1。

    /> awk 'BEGIN { "date" | getline d; print d}'

    Tue Nov 15 15:31:42 CST 2011

    上例中的BEGIN动作模块中，先执行shell命令date，并通过管道输出给getline，然后再把输出赋值给自定义变量d并打印输出它。

   

    /> awk 'BEGIN { "date" | getline d; split(d,mon); print mon[2]}'

    Nov

    上例中date命令通过管道输出给getline并赋值给d变量，再通过内置函数split将d拆分为mon数组，最后print出mon数组的第二个元素。

   

    /> awk 'BEGIN { while("ls" | getline) print}'

    employees

    employees2

    testfile

    命令ls的输出传递给getline作为输入，循环的每个反复，getline都从ls的结果中读取一行输入，并把他打印到屏幕。

   

    /> awk 'BEGIN { printf "What is your name? "; \

        getline name < "/dev/tty"}\

        $1 ~ name {print "Found" name " on line ", NR "."}\

        END {print "See ya, " name "."}' employees2

    What is your name? Mary

    Found Mary on line  2.

    See ya, Mary.   

    上例先是打印出BEGIN块中的"What is your name? "，然后等待用户从/dev/tty输入，并将读入的数据赋值给name变量，之后再从输入文件中读取记录，并找到匹配输入变量的记录并打印出来，最后在END块中输出结尾信息。

   

    /> awk 'BEGIN { while(getline < "/etc/passwd" > 0) lc++; print lc}'

    32

    awk将逐行读取/etc/passwd文件中的内容，在达到文件末尾之前，计数器lc一直自增1，当到了末尾后打印lc的值。lc的值为/etc/passwd文件的行数。

    由于awk中同时打开的管道只有一个，那么在打开下一个管道之前必须关闭它，管道符号右边可以通过可以通过双引号关闭管道。如果不关闭，它将始终保持打开状态，直到awk退出。

    /> awk {print $1,$2,$3 | "sort -4 +1 -2 +0 -1"} END {close("sort -4 +1 -2 +0 -1") } filename

    上例中END模块中的close显示关闭了sort的管道，需要注意的是close中关闭的命令必须和当初打开时的完全匹配，否则END模块产生的输出会和以前的输出一起被sort分类。