awk使用的简单例子

原始文本命名为log，内容只有一行：

2010-10-12 10:46:32,663 INFO [com.peacock.rest.service.impl.MessageRestServiceImpl] - am=getUnreadMessageCount<|>ab=100<|>af=iPhone<|>adid=13288785908f5fe3fa6f1ef4a419c0cb5e5a72cc<|>aip=58.163.175.132<|>wv=1.0<|>asid=3CBCD99761FEA49C571731727C7B9EF0<|>iua=iPhone<|>pov=3.1.2<|>abt=1<|>at=2010-10-12 10:46:32<|>ar=_<|>auid=479625<|>acode=000000<|>art=0

如何以空格分割各字段：

cat log|awk '{print $数字}'

分别为（默认以空格分割）：
1 2010-10-12
2 10:46:32,663
3 INFO
4 [com.peacock.rest.service.impl.MessageRestServiceImpl]
... ...

如何截取以am=开头的字符串：

cat log|awk '{match($0,"am=");print substr($0,RSTART)}'

这里使用了match和substr两个内置函数。其中$0表示整行记录。

对以am=开头的字符串进行<|>分割：

cat log|awk '{match($0,"am=");print substr($0,RSTART)}'|awk -F "<[|]>" '{print $数字}'

这里使用管道再次调用了awk。
注意，因为<|>作为分隔符比较特殊，如果单纯使用<|>，awk会认为使用<或者>来分割。所以遇到|作为分隔符的话，使用[|]转义一下就可以了。
1 am=getUnreadMessageCount
2 ab=100
3 af=iPhone
4 adid=13288785908f5fe3fa6f1ef4a419c0cb5e5a72cc
... ...

输出每个函数以及执行它所花的时间（其中am=表示函数名，art=表示执行时间）：

cat log|awk '{match($0,"am=");print substr($0,RSTART)}'|awk -F "<[|]>" '{match($0,"art=[0-9]+");art=substr($0,RSTART,RLENGTH);printf "%s %d\n",substr($1,4),substr(art,5)}'

输出：
getUnreadMessageCount 0
关键地方是使用match和substr来获取art的值。

如果有多行记录，对它们进行排序：

cat log|awk '{match($0,"am=");print substr($0,RSTART)}'|awk -F "<[|]>" '{match($0,"art=[0-9]+");art=substr($0,RSTART,RLENGTH);printf "%s %d\n",substr($1,4),substr(art,5)}'|sort -k1,1 -k2rn

这里使用了sort命令和-k选项。首先根据函数名进行排序，然后再根据执行时间进行降序。

评论

16 楼 weiqiang.yang 2010-11-13  

awk不是有一本大书介绍么。。。没用过那么复杂的，长了一行写下来自己都不知道干嘛的

15 楼 qichunren 2010-10-25  

很不错嘛。命令在于使用，在使用中掌握。

14 楼 junge8618 2010-10-22  

二、at命令
1.根用户可以通过/etc目录下的at.allow和at.deny文件来控制哪些用户可以使用at命令，哪些用户不行。

2.at命令的基本形式为：
at [-f script] [-m -l -r] [time] [date]
其中，
-f script 是所要提交的脚本或命令。
-l 列出当前所有等待运行的作业。atq命令具有相同的作用。
-r 清除作业。为了清除某个作业，还要提供相应的作业标识（ID）；有些UNIX变体只接受atrm作为清除命令。
-m 作业完成后给用户发邮件。
time at命令的时间格式非常灵活；可以是H、HH.HHMM、HH:MM或H:M，其中H和M分别是小时和分钟。还可以使用a.m.

或p.m.。
date 日期格式可以是月份数或日期数，而且at命令还能够识别诸如today、tomorrow这样的词。

3.使用at命令提交命令或脚本
1)如果你想提交若干行的命令，可以在at命令后面跟上日期/时间并回车。然后就进入了at命令提示符，这时只需逐

条输入相应的命令，然后按‘ < C T R L - D >’退出。例子：
$at 21:10
at> find / -name "passwd" -print
at><EOT>
2)提交脚本
at 3.00pm tomorrow -f /apps/bin/db_table.sh
3)使用echo命令向at命令提交作业
  echo find /etc -name "passwd" -print | at now +1 minute

4.查看作业：at -l
  清除作业：atrm [job no]或者 at -r [job no]

三、&命令
运行一个find命令，查找名为“srm.conf的文件，并把所有标准输出和错误输出重定向到一个叫作find.dt的文件中

：
find /etc -name "srm.conf" -print >find.dt 2>&1 &

查看进程：
ps x | grep 28305 或者 ps -ef |grep 28305

四、nohup命令
如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你

退出帐户之后继续运行相应的进程。nohup就是不挂起的意思(nohang up)。
该命令的一般形式为：
nohup command &

13 楼 junge8618 2010-10-22  

后台执行命令：
一、cron和crontab
  1.crontab
下面是crontab的格式：
分< >时< >日< >月< >星期< >要运行的命令
其中< >表示空格。
crontab文件的一个条目是从左边读起的，第一列是分，最后一列是要运行的命令，它位于星期的后面。
在这些域中，可以用横杠-来表示一个时间范围，例如你希望星期一至星期五运行某个作业，那么可以在星期域使用1

- 5来表示。还可以在这些域中使用逗号“,”，例如你希望星期一和星期四运行某个作业，只需要使用1 , 4来表示

。可以用星号*来表示连续的时间段。如果你对某个表示时间的域没有特别的限定，也应该在该域填入*。该文件的每

一个条目必须含有5个时间域，而且每个域之间要用空格分隔。该文件中所有的注释行要在行首用#来表示。
例子：
30 21* * * /apps/bin/cleanup.sh  #每晚的21：30运行/apps/bin目录下的cleanup.sh
10 1 * * 6,0 /bin/find -name "core" -exec rm {} \;  #示每周六、周日的1:10运行一个find命令0,30 18-23 *

* * /apps/bin/dbcheck.sh #每天18:00至23:00之间每隔30分钟运行/app/bin目录下的dbcheck.sh

当使用crontab运行shell脚本时，要由用户来给出脚本的绝对路径，设置相应的环境变量。记住，既然是用户向cron

提交了这些作业，就要向cron提供所需的全部环境。不要假定cron知道所需要的特殊环境，它其实并不知道。所以你

要保证在shell脚本中提供所有必要的路径和环境变量，除了一些自动设置的全局变量。

创建一个名为<user>cron文件(例如jungecron)，输入crontab代码
$ crontab jungecron #同时，新创建文件的一个副本已经被放在/var/spool/cron目录中，文件名就是用户名

查看crontab文件:crontab -l
修改crontab文件:crontab -e(要添加EDITOR变量：编辑$HOME目录下的.profile文件EDITOR=vi; export EDITOR)
删除crontab文件：crontab -r

12 楼 flysnowxf 2010-10-22  

udvs 写道

确实很入门，如果LZ有好的awk使用经验，建议来个专栏来写

最近项目在用awk分析日志，进行数据统计。如果有更好的经验，会再写写。

11 楼 junge8618 2010-10-22  

find命令的使用：
1.语法
find pathname -options [-print -exec -ok]
-print find命令将匹配的文件输出到标准输出。
-exec find命令对匹配的文件执行该参数所给出的s h e l l命令。相应命令的形式为' c o m m -
and' {} \;，注意{ }和\；之间的空格。
-ok 和- e x e c的作用相同，只不过以一种更为安全的模式来执行该参数所给出的s h e l l命令，
在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

2.命令选项
波浪号~代表了你的$ H O M E目录。
-name选项
例子1：
find ~ -name "*.txt" -print

-perm选项  按照文件权限模式来查找文件
例子2:
find . -perm 755 -print

-prune 忽略某个目录
例子3：
find /apps -name "/apps/bin" -prune -o -print #忽略"/apps/bin"

-user和-nouser选项
例子：
find ~ -user dave -print
find /home -nouser -print #查找属主帐户已经被删除的文件

-group和-nogroup选项

-mtime选项
find / -mtime -5 -print #在系统根目录下查找更改时间在5日以内的文件
find /var/adm -mtime +3 -print #在/var/adm目录下查找更改时间在3日以前的文件

-newer选项 查找更改时间比某个文件新但比另一个文件旧的所有文件
find . -newer age.awk ! -newer blets.awk -exec ls -l {} \; #注意{}和\中的空格

-type选项 按文件类型查找
find /etc -type d -print  #在/ e t c目录下查找所有的目录
find . ! -type d -print   #为了在当前目录下查找除目录以外的所有类型的文件

-size 按照文件长度来查找文件
find . -size +10 -print  #当前目录下查找长度超过10块的文件

find /home/apache -size 100c -print  #在/home/apache目录下查找文件长度恰好为100字节的文件

-depth先查找当前目录，再查找子目录

-exec选项
find . -name "passwd*“ -exec grep "rounder" {} \;首先匹配所有文件名为“passwd*”的文件，例如passwd、passwd.old、passwd.dbk，然后执行grep命令看看在这些文件中是否存在一个rounder用户(注意{}和\之间的空格)。

xargs选项
例子：
在/apps/audit目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限：
$ find /apps/audit -perm -7 -print | xargs chmod o-w

10 楼 junge8618 2010-10-22  

软链接实际上就是一个指向文件的指针。
下面我们就解释一下符号链接是怎么回事。比方说在/usr/local/admin/sales目录下有一个含有销售信息的文件，销售部门的每一个人都想看这份文件。你可以在每一位用户的$HOME目录下建立一个指向

该文件的链接，而不是在每个目录下拷贝一份。这样当需要更改这一文件时，只需改变一个源文件即可。每个销售$HOME目录中的链接可以起任何名字，不必和源文件一致。
如果有很多子目录，而进入这些目录很费时间，在这种情况下链接也非常有用。可以针对$HOME目录下的一个很深的子目录创建一个链接。还有，比如在安装一个应用程序时，它的日志被保存

到/user/opt/log目录下，如果想把它保存在另外一个你认为更方便目录下，可以建立一个指向该目录的链接。
该命令的一般形式为：
ln [-s] source_path target_path
其中的路径可以是目录也可以是文件。

硬链接：ln   existing-file   new-link
1.硬链接在删除原文件时硬链接文件还可以使用，而软连接在删除源文件时连接不可以用。
2.改变源文件或者目标链接文件的权限时所有的链接文件的权限也同步改变（源文件的权限也同步修改）。
3.在删除源文件后对该源文件任何一个硬链接文件进行修改，其他的硬链接文件也同步修改。
4.使用ls -l中显示的是硬链接的连接数。
5.软链接能够跨文件系统,也可以和目录链接，而硬链接则不能。

9 楼 junge8618 2010-10-22  

目录中建立一个新的登记项来实现这种连接,该登记项具有一个新的文件名和要连接文件的inode号.文件的目录登记项就是所谓的文件硬链接.不论一个文件有多少硬链接,在磁盘上只有一个描述它的

inode.只要该文件的链接数不为0,该文件就保持存在.
我们把符号链接称为软链接,它是指向另一个文件的特殊文件,这种文件的数据部分仅包含它所要链接文件的路径名.软链接是为了克服硬
链接的不足而引入的.软链接不直接使用inode号作为文件指针,而是使用文件路径名作为指针.软件有自己的inode,并在磁盘上有一小片空间存放路径名.因此,软链接能够跨文件系统,也可以和目录链接!!!其二,软链接可以对一个不存在的文件名进行链接,但直到这个名字对应的文件被创建后,才能打开其链接.

8 楼 junge8618 2010-10-22  

六.符号链接

UNIX文件系统提供了一种将不同文件链接至同一个文件的机制,我们称这种机制为链接.它可以使得单个程序对同一文件使用不同的名字.这样的好处是文件系统只存在一个文件的副本.系统简单地通过在

7 楼 junge8618 2010-10-22  

五.umask值
  umask命令允许你设定文件创建时的缺省模式，对应每一类用户(文件属主、同组用户、其他用户)存在一个相应的umask值中的数字。对于文件来说，这一数字的最大值分别是6。系统不允许你在创建一

个文本文件时就赋予它执行权限，必须在创建后用umask命令增加这一权限。目录则允许设置执行权限，这样针对目录来说， umask中各个数字最大可以到7。
例子：
umask值002 所对应的文件和目录创建缺省权限分别为664和775。
查看缺省权限：umask
设置缺省权限：umask 002

6 楼 junge8618 2010-10-22  

三.suid/guid
chmod u+s <filename>
suid意味着如果某个用户对属于自己的shell脚本设置了这种权限，那么其他用户在执行这一脚本时也会具有其属主的相应权限。
例子1：
如果想要对文件login设置suid，它当前所具有的权限为rwx rw- r-- (741)，需要在使用chmod命令时在该权限数字的前面加上一个4（设置guid时加一个2），即chmod 4741，这将使该文件的权限变为

rws rw- r - -。
   $ chmod 4741 logit

一旦设置了这一位，一个s将出现在x的位置上。记住：在设置suid或guid的同时，相应的执行权限位必须要被设置。例如，如果希望设置guid，那么必须要让该用户组具有执行权限。如果没有赋予执行

权限而设置suid则x会变为大S，我们可以忽略它。

例子2：
chmod 6711 rws --s --s 文文件被设置了suid和guid，文件属主具有读、写和执行的权限，所有其他用户具有执行的权限

四.查自己所属的用户组：使用group或者id

5 楼 junge8618 2010-10-22  

一.目录的权限位
1.目录的读权限位意味着可以列出其中的内容。
2.写权限位意味着可以在该目录中创建文件。
3.执行权限位则意味着搜索和访问该目录.

二.目录的权限将会覆盖该目录中文件的权限。
例如，如果目录docs具有如下的权限：
drwx r-- r-- 1 louise admin 2390 Jul 23 09:44 docs
而其中的文件pay的权限为：
-rwx rwx rwx 1 louise admin 5567 Oct 3 05:40 pay
那么admin组的用户将无法编辑该文件，因为它所属的目录不具有这样的权限。

4 楼 udvs 2010-10-21  

确实很入门，如果LZ有好的awk使用经验，建议来个专栏来写

3 楼 yangguo 2010-10-21  

强什么大，要不是写起来太过晦涩，主要不就是一个split吗。

2 楼 tq02ksu 2010-10-20  

你这awk 也刚用了个皮毛. 还有更强大的呢. 建议LZ再多看看. awk的程序还是看起来很优雅的.

1 楼 parabellum_sky 2010-10-20  

awk是个强大的东西