bash编程之 awk格式化输出

awk命令：

 

Linux文本处理三剑客：grep sed awk

awk gawk: 报表生成器，格式化文本输出

 

 

基本用法：

gawk [options] 'program' file file ...

其中program格式为: PATTERN{ACTION_STATEMENT}，ACTION_STATEMENT由语句组成，语句分隔符是;

其中ACTION包含: print, printf

# awk -F: '$3>50{print $0}' /etc/passwd  输出uid大于50的行

 

 

选项：

-F[]：指明输入字段分隔符； 不使用-F时默认以空格为字段分隔符

gawk  -F: '{print $1,$3}'  /etc/passwd

gawk  -F: '{print $1,$3,"user"}'  /etc/passwd

-v  var=var  给变量赋值

 

 

1、awk的输出命令print

print item1, item2, ...

要点：

(1) 各item间使用逗号分隔，而输出时则使用输出分隔符分隔；

(2)输出的各item可以字符串或数值、当前记录的字段($n)、变量或awk的表达式；数值会被隐式转换为字符进行输出；

(3) print后面的item如果省略，相当于print $0;  输出“空白”，使用print "";

 

 

2、变量

2.1 内置变量

FS： input field seperator（输入时的字段分隔符），默认为空白字符；

gawk  -v FS=":" '{print $1,$3}'  /etc/passwd

 

RS：input record separator（输入时文件的换行符）, 默认为换行符；

awk  -v RS=" " '{print $0}'  /etc/passwd

 

OFS： output field seperator（输出时的字段分割符），默认为空白字符；

 

ORS：output record separator（输出时文件换行符）, 默认为换行符；

 

NF: number of field in current record，字段数；

awk  '{print NF}' /etc/passwd   输出字段个数

awk  '{print $NF}' /etc/passwd  输出最后一个字段

 

NR：行数，所有文件统一计数；

awk '{print NR}'  /etc/passwd /etc/issue

awk '{print NR,$0}'  /etc/passwd /etc/issue  在每一行前加上行号

 

FNR：行数，各文件分别计数；

awk '{print FNR}'  /etc/passwd /etc/issue

awk '{print FNR,$0}' /etc/passwd /etc/issue

 

FILENAME：当前文件名；

awk '{print FILENAME,$0}' /etc/passwd /etc/issue  在每一行前加上文件名

 

ARGC：命令行参数的个数；

awk  '{print ARGC}' /etc/issue 

 

ARGV：数组，保存了命令行参数；

awk  '{print ARGV[0]}' /etc/issue

 

 

2.2 自定义变量

-v var=val: 变量名区分字符大小写

定义变量的位置：

(1) 可以在program中定义变量；

awk '{file="passwd";print file,$1}' /etc/passwd

(2) 通过-v选项定义变量；

awk -v file="passwd" '{print file,$1}' /etc/passwd

 

 

3、printf命令

格式： printf format, item1, item2, ...

awk  'BEGIN{printf "%d\n",6}'

要点：

(1) format是必须的；

(2) 不会自动换行，需显式给定行分隔符；

(3) format中需要分别为后面的每个item指定一个格式符；

 

格式符：都以%开头，后跟一个字符

%c: 显示字符的ASCII码；

%d，%i: 显示十进制整数；

%e, %E: 科学计数法显示数值；

%f: 显示为浮点数；

%g, %G: 以科学计数法格式或浮点数格式显示数值；

%s: 字符串

%u: 无符号的整数

%%: 显示%自身

 

修饰符：

#[.#]: 第一个#指定显示宽度，例如%30s；第二个#表示小数点后的精度；

awk -F: '{printf "%20s:%5d\n",$1,$3}' /etc/passwd

-： 左对齐

awk -F:  '{printf "%20s:%-5d\n",$1,$3}' /etc/passwd

 

 

4、操作符：

算术操作符：

x+y, x-y, x*y, x/y, x^y, x%y

-x: 负值

+x: 转换为数值

 

字符串操作：字符串连接

 

赋值操作符：

=， +=， -=， *=,  /=,  %=, ^=

++, --

 

比较操作符：

>, >=, <. <=, ==, !=

 

模式匹配符：

~    

!~

# awk -F: '$1~/root/{print $7}' /etc/passwd   让$1匹配模式/root/

 

逻辑操作符：

&&

||

 

条件表达式：

selector?if-true-expression:if-false-expression

例子：~]# awk -F: '{$3>=500?usertype="common user":usertype="sysuser or admin";printf "%20s:%-s\n",$1,usertype}' /etc/passwd

 

函数调用：

function_name(argu1,argu2,...)

 

 

5、PATTERN

(1) /regular expression/: 仅处理能够被/regular expression/所匹配到的行；

awk -F: '/^\<root\>/{print $3}' /etc/passwd

 

(2) relational expression：关系表达式，有真假之分，一般来说，其结果为非0或非空字符串时为“真”，否则，为“假”；

awk -F: '$3>=500{print $1,$3}' /etc/passwd

awk -F: '$5~/root/{print $0}' /etc/passwd

 

(3) line ranges：行范围，类似sed或vim的地址定界法；startline, endline

 

(4) BEGIN/END: 特殊模式，仅在awk运行程序之前执行一次(BEGIN)，或仅在awk运行程序之后执行一次(END);

awk  -F: 'BEGIN{print "username","shell\n"----------------}$7~/bash\>/{print $1,$7}END{print "--------------\n"}' /etc/passwd

awk  -F: 'BEGIN{username="username";shell="shell";printf "%10s%10s\n",username,shell;print "-----------"}$7~/bash\>/{printf "%10s%10s\n",$1,$7}END{print "---------------"}' /etc/passwd

 

(5) empty: 空模式，匹配任意行；

 

 

6、常用的action

(1) 表达式

(2) 控制语句

(3) 输入语句

(4) 输出语句

 

 

7、控制语句

if (condition) statement [ else statement ]

while (condition) statement

do statement while (condition)

for (expr1; expr2; expr3) statement

for (var in array) statement

break

continue

delete array[index]

delete array

exit [ expression ]

{ statements }

 

7.1 if-else

用法：对awk取得的整行或行中的字段做条件判断；

语法：

if (condition) statement [ else statement ] 

if (condition) { statements; } [ else { statements; }]

# awk -F: '{if ($3>=500) print $1," is a common user." }' /etc/passwd

# awk -F: '{if ($3>=500) {print $1," is a common user."} else {print $1," is a system user or admin."}}' /etc/passwd

# awk '{if (NF>6) print NF, $0 }' /etc/inittab

 

 

7.2 while循环

用法：通常用于在当前行的各字段间进行循环；

语法：while (condition) statement

while (condition) { statements }

条件为真时进行循环，直到为假退出；

# awk '{i=1;while(i<=NF){printf "%20s:%d\n",$i,length($i); i++}}' /etc/inittab

# awk '{i=1;while(i<=NF){if (length($i)>5) {printf "%20s:%d\n",$i,length($i);} i++}}' /etc/inittab

 

 

7.3 do-while循环

语法：do statement while (condition)

do { do-while-body }  while (condition)

意义：至少执行一次循环体；

 

 

7.4 for循环

语法：for (expr1; expr2; expr3) statement

for (expr1; expr2; expr3) { statements }

# awk '{for(i=1;i<=NF;i++) {printf "%s:%d\n", $i, length($i)}}' /etc/inittab

for循环在awk中有一个专用于遍历数组元素：

语法：for (var in array) { for-body }

 

 

7.5 switch

语法：switch (expression) {case VALUE or /REGEXP/: statement; ...; default: statementN}

 

 

7.6 break and continue

break [n]: 退出当前循环

continue：提前结束本轮循环，直接进入下轮循环

 

 

7.7 next

提前结束对本行的处理而进入下一行的处理

~]# awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd

 

 

8、Array

关联数组：array[index-expression]

index-expression:  可以使用任意字符串, 注意： 如果用数字索引，index-expression从1开始

如果某数组元素事先不存在，在引用时，awk会自动创建此元素并将其值初始化为空串，因此，若要判断数组是否存在某元素，要使用“index in array”进行；

a[mon]="Monday"

print a[mon]

 

要遍历数组中的每个元素，使用： for (var in array) { for body }，注意：var会遍历array的每一个索引，print array[var]

例子：统计每一行中各单词分别出现的次数

# awk '{for(i=1;i<=NF;i++) {count[$i]++}}END{for(j in count) {print j,count[j]}}' awk.txt

# awk '{for(i=1;i<=NF;i++) {count[$i]++};for(j in count) {print j,count[j]};for(j in count) {count[j]=""};print "---------------"}' awk.txt

# ss -tan | awk '!/^State/{state[$1]++}END{for (i in state) {print i,state[i]}}'

# netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}'

 

练习：统计httpd访问日志中，每个IP出现的次数；

~]# awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log 

 

 

9、函数

9.1 内置函数

数值处理：

rand()： 返回0和1之间一个随机数；

 

字符串处理：

length([s])： 返回指定字符串的长度

sub(r, s [, t])：以r所表示的模式来查找t字符串中的匹配，将其第一次出现替换同s所表示的字符串；

sub(ab,AB,$0)

gsub(r, s [, t])：以r所表示的模式来查找t字符串中的匹配，将其所有的出现均替换同s所表示的字符串；

split(s, a [, r]): 以r为分隔符切割字符串s，并将切割的结果保存至a表示数组中；

# netstat -tan | awk '/^tcp/{len=split($5,client,":");ip[client[len-1]]++}END{for(i in ip){print i,ip[i]}}'

substr(s, i [, n])： 从s表示的字符串中取子串，从i开始，取n个字符；

 

时间类的函数：

systime(): 取时间戳；

 

位运算函数：

and(v1,va2): 

 

 

9.2 自定义函数

function f_name(p,q) 

{

...

}

 

 

 

书面作业：

文件名awkfile

++++++++++++++++

Mike Harrington:[510] 548-1278:250:100:175

Christian Dobbins:[408] 538-2358:155:90:201

Susan Dalsass:[206] 654-6279:250:60:50

Archie McNichol:[206] 548-1348:250:100:175

Jody Savage:[206] 548-1278:15:188:150

Guy Quigley:[916] 343-6410:250:100:175

Dan Savage:[406] 298-7744:450:300:275

Nancy McNeil:[206] 548-1278:250:80:75

John Goldenrod:[916] 348-4278:250:100:175

Chet Main:[510] 548-5258:50:95:135

Tom Savage:[408] 926-3456:250:168:200

Elizabeth Stachelin:[916] 440-1763:175:75:300

 

上面的数据库中包含名字,电话号码和过去三个月里的捐款

1.显示所有电话号码

awk -F: '{print $2}' awkfile

 

2.显示Dan的电话号码

awk -F: '/Dan/{print $2}' awkfile

  

3.显示Susan的名字和电话号码

awk -F: '/Susan/{print $1,$2}' awkfile

  

4.显示所有以D开头的姓

awk '$2~/^D/{split($2,arr,":"); print arr[1]}' awkfile

  

5.显示所有以一个C或E开头的名

awk '$1~/^[CE]/{print $1}' awkfile

 

6.显示所有只有四个字符的名

awk '{if(length($1)==4) print $1}' awkfile

 

7.显示所有区号为916的人名

awk -F: '$2~/^\[916\]/{print $1}' awkfile

  

8.显示Mike的捐款.显示每个值时都有以$开头.如$250$100$175

awk -F: '$1~/^Mike/{printf "$%s $%s $%s\n", $3, $4, $5}' awkfile

  

9.显示姓,其后跟一个逗号和名,如Jody,Savage

awk -F: '{split($1, arr, " "); printf "%s,%s\n", arr[1],arr[2]}' awkfile