巧用Linux命令完成统计排序功能

前几天碰到一个问题：现在有一万多条记录，其中包含重复的记录，每条记录占一行，问如何从这些记录中找到数量排名前10的记录？

对于这个问题，可以编程实现。但是在Linux环境下，可以简单的通过一些命令的组合直接完成这项工作。这里先讲我使用的命令，再一一分析。

可以使用以下命令完成这个任务，其中所有的记录以每条一行的形式存储在data文件中。

$ sort data | uniq -c | sort -k 1 -n -r | head 10 

现在来一一分析这些命令组合的含义。

1) sort data
表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序（ASCII码）进行排序，这样可以保证重复的记录时相邻的。

2) sort data | uniq -c
这里，通过管道（|）将左边部分的命令的输出作为右边部分的输入。uniq -c 表示合并相邻的重复记录，并统计重复数。因为uniq -c 只会合并相邻的记录，所以在使用该命令之前需要先排序。

3) sort data | uniq -c | sort -k 1 -n -r
经过uniq -c 处理之后的数据格式形如"2 data"，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序，这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII，这就会导致按从大到小进行排序时，数值2会排在数值11的前面，所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序，即按照从大到小的顺序进行排序。

4) sort data | uniq -c | sort -k 1 -n -r | head 10
head 命令表示选取文本的前x行。通过head 10 就可以得到排序结果中前十行的内容。

总结：通过这个例子，可以深刻的体会到Linux的命令工具集的强大之处，通过几个命令的组合便可以完成这样一件常见但又不简单的任务，体现了Linux简洁而优美的特点。

转自：http://eriol.iteye.com/blog/870641