awk 学习笔记

用awk比较多，以下几个是常用的稍微高级一点的用法

1、同时指定多个分割符
   这时应该把分隔符写成放到方括号中，如$awk -F'[ :\t]' '{print $1,$3}'  test 

此时指定了空格，:号,tab三个作为分隔符


2、awk的key的变态用法
   awk '{a[$1,"\t", $2] += $4} END {for (uin in a) printf("%s\t%d\n", uin, a[uin])  }'  test
   用$1"\t"$2组成一维数组的key，这样可以用这种方式来处理很多复杂的二维数据逻辑


3、awk 的范围模板
   范围模板匹配从第一个模板的第一次出现到第二个模板的第一次出现之间所有行。如果有一个模板没出现，则匹配到开头或末尾。
  
   如$ awk '/root/,/mysql/' test将显示root第一次出现到mysql第一次出现之间的所有行。

4、awk的重定向
   awk 可使用shell的重定向符进行重定向输出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一个域的值等于100，则把它输出到output_file中。也可以用>>来重定向输出，但不清空文件，只做追加操作。

   这样可以利用重定向，可以把不同的结果集写入到不同的文件里
   比如，我经常要跑出vip1,2,3,4,5,6的6份文件，那么就可以写一个脚本，一次性都跑出来了


5、 awk -F"|" 'NR == FNR { a[$1] = $2 } NR > FNR { if (a[$1]!=""){ a[$1] = $2 - a[$1]; if(a[$1] > 0 && $2 == 2) print $0;} }' test test1
    还有涉及2个文件的时候，NR,FNR一起用，也比较少见的