`

uniq命令的使用

阅读更多

 


[root@stu100 ~]#cat test
boy took bat home
boy took bat home
girl took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home

看test文件的内容
============================================
[root@stu100 ~]# uniq test

boy took bat home
girl took bat home
boy took bat home
dog brought hat home

uniq命令不加任何参数,仅显示连续重复的行一次
============================================
[root@stu100 ~]# uniq -c test
      2 boy took bat home
      1 girl took bat home
      2 boy took bat home
      3 dog brought hat home
      1 

-c 参数显示文件中每行连续出现的次数。
============================================
[root@stu100 ~]# cat test |sort | uniq -c 
      1 
      4 boy took bat home
      3 dog brought hat home
      1 girl took bat home

排序后再显示
============================================
[root@stu100 ~]# uniq -d test
boy took bat home
boy took bat home
dog brought hat home

-d选项仅显示文件中连续重复出现的行。
============================================
[root@stu100 ~]# uniq -u test
girl took bat home


-u选项显示文件中没有连续出现的行。
============================================
[root@stu100 ~]# uniq -f 2 -s 2 test
boy took bat home


忽略每行的前2个字段,忽略第二个空白字符和第三个字段的首字符,结果at home
============================================
[root@stu100 ~]# uniq -f 1 test
boy took bat home
dog brought hat home


忽略每行的第一个字段

============================================
[root@stu100 ~]# uniq -D test
boy took bat home
boy took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home

显示所有重复的行,每个重复的行都显示
分享到:
评论

相关推荐

    Linux Shell学习:uniq命令使用方法介绍

    在本文中,我们将深入探讨uniq命令的使用方法,并通过具体的实践例子来帮助你更好地理解和掌握这个命令。 首先,uniq命令的基本功能是显示文件中不重复的行。当我们有大量数据,特别是连续重复的数据时,uniq可以...

    windows下的uniq

    `uniq`命令在Unix/Linux中是一个非常常见的文本处理工具,它用于过滤出连续重复的行,通常与`sort`命令结合使用,因为`uniq`只对连续的重复行进行处理。在Windows环境下,如果没有内置的`uniq`命令,可以寻找替代品...

    uniq命令 去除文件中的重复行

    uniq命令全称是“unique”,中文释义是“独特的,唯一的”。该命令的作用是用来去除文本文件中连续的重复行,中间不能夹杂其他文本行。去除了重复的,保留的都是唯一的,也就是独特的,唯一的了。 我们应当注意的是...

    linux下uniq和sort命令用法详解.docx

    Linux 下 uniq 和 sort 命令用法详解 uniq 命令是 Linux 中的一个文本处理命令,用于去除文本中的重复行。该命令读取输入文件,并比较相邻...例如,可以使用 uniq 命令去除重复行,然后使用 sort 命令对结果进行排序。

    linux下uniq和sort命令用法.docx

    Linux 下 uniq 和 sort 命令用法 uniq 命令是 Linux 中的一个文本处理命令,用于删除或显示文本文件中的重复行。它可以读取输入文件,并比较相邻的行。在正常情况下,第二个及以后更多个重复行将被删去,行比较是...

    Shell中的sort和uniq命令

    在Linux Shell环境中,`sort` 和 `uniq` 是两个非常实用的命令,它们主要用于文本文件的数据处理。`sort` 命令用于对文件内容进行排序,而 `uniq` 命令则用于去除文件中连续重复的行,或者显示只出现一次或多次的行...

    Shell 分析日志文件高效命令详解.docx

    这条命令将 log_file 文件中的每一行数据都输出到标准输出,然后使用 sort 和 uniq 命令对输出结果进行排序和去重,最后使用 wc 命令统计输出结果的行数。 2. 查看某一个页面被访问的次数 使用 grep 和 wc 命令...

    Linux操作命令八.doc

    Linux 操作命令是 Linux 操作系统中不可或缺的部分,本文将介绍 Linux 操作命令中的 sort、uniq 和 join 命令的用法。 一、sort 命令 sort 命令是 Linux 中一个非常有用的命令,它能够对文本文件和 stdin 进行排序...

    windows上可直接使用的awk、sed、grep等文本处理命令和彩色显示echo命令(from.Cygwin).zip

    包含命令:awk、cat、cut、diff、echo、gawk、grep、head、sed、sort、tac、tail、tr、uniq、wc 可以在windows上cmd窗口显示彩色文字,用法:echo.exe -e "\033[32;1mGREEN\033[0m

    查看服务器系统资源(cpu,内容)利用率前几位的进程的方法

    uniq 命令可以对进程列表进行去重和统计,例如使用 uniq 命令可以对进程列表进行去重,而使用 uniq -c 命令可以统计每个进程的出现次数。 示例命令: * sort -rn 降序排序 * sort -k3rn 按照 CPU 使用率降序排序 *...

    Unix 命令全集

    uniq 命令 units 命令 unlink 命令 unloadipsec 命令 unmirrorvg 命令 unpack 命令 untab 命令 update 命令 updatevsdnode 命令 updatevsdtab 命令 updatevsdvg 命令 uprintfd 守护进程 uptime 命令 users 命令 ...

    Linux下查看CPU型号,内存大小,硬盘空间命令.docx

    本文将详细介绍这些命令的使用方法和示例输出。 一、查看CPU信息 1.1 查看CPU个数 命令:`cat /proc/cpuinfo | grep physical id | uniq |wc -l` 该命令用于查看服务器上的CPU个数。`/proc/cpuinfo`文件包含了...

    linux中常用的shell命令实验

    * 使用 sort 或 uniq 命令对/root 目录下的 inittab 文件排序后输出其结果 * 统计 inittab 文件的字节数、行数、字数 * 用 mkdir 命令在/root 目录下创建一个 test 目录 * 用 cp 命令将/etc 目录及其下所有内容复制...

    整理的shell命令使用方法.doc

    11. `uniq` 命令:删除连续重复的行,常与`sort`命令结合使用以去除文件中的重复行。 12. `split` 命令:将大文件分割成小文件,通常用于处理大数据。 13. `nl` 命令:在输出文件内容时添加行号,方便查看和分析。...

    常用linux命令小结

    uniq命令用于报告或省略重复的行。例如,查看文件中的重复行并显示没有重复的行,可以使用: ```bash uniq filename.txt ``` **wc命令** wc(word count)命令用于统计指定文件中的行数、单词数和字符数。例如,...

    Linux命令 sort、uniq、tr工具详解

    `uniq`通常与`sort`结合使用,因为只有排序过的输入才能有效地去除重复。`-u`选项即可实现去重功能,例如`sort somefile | uniq`会先对`somefile`排序,然后去除重复行。需要注意的是,如果行不是连续重复的,`uniq`...

    linux sort join cut paste split uniq

    2. `uniq`命令:它用于删除文本文件中连续重复的行,但不改变原文件内容。如果你想删除所有重复的行,可以先用`sort`对文件排序,然后使用`uniq`。例如,`sort filename | uniq`将删除`filename`中所有连续重复的行...

Global site tag (gtag.js) - Google Analytics