`
lichuanbao
  • 浏览: 127426 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Shell编程中,Sort和uniq为什么总是结对使用

阅读更多
一直没有怎么写过脚本,最近赶鸭子上架,要写一个统计用户访问次数的脚本。因为用户在日志会出现多次,需要按照手机号码进行一下去重。结果用到了sort和uniq两个命令。当时对于这两个命令为什么需要联合使用比较模糊,今天总结一下。

提示:uniq去重功能,只能针对连续的多行进行去重,只剩下唯一的一条。

比如有如下的文件happy.txt,文件内容如下
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!

如果需要将文件内容去重,我们看一下单用uniq和将sort与uniq结合用的差别。
cat happy.txt |uniq

结果如下
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!

先排序再去重
cat happy.txt |sort|uniq

结果如下
Happy Birthday Dear Tux!
Happy Birthday to You!


看了上面的测试结果,大家应该明白了,sort是为了将相同内容的行排列在一起,然后使用uniq将相同的行进行去重,进而达到去重的目的。
1
0
分享到:
评论

相关推荐

    Shell中的sort和uniq命令

    在Linux Shell环境中,`sort` 和 `uniq` 是两个非常实用的命令,它们主要用于文本文件的数据处理。`sort` 命令用于对文件内容进行排序,而 `uniq` 命令则用于去除文件中连续重复的行,或者显示只出现一次或多次的行...

    LinuxShell编程基础教程.pdf

    本资源为 Linux Shell 编程基础教程,涵盖了 Linux Shell 编程的基础知识,包括语法基本介绍、变量、环境变量、Shell 命令和流程控制等。 一、语法基本介绍 在 Linux Shell 编程中,必须以#!开头,指定解释器的...

    shell编程电子书.docx

    为什么要进行 shell 编程 在 Linux 系统中,虽然有各种各样的图形界面工具,但 shell 仍然是一个非常灵活的工具。shell 不仅集合了大量命令,还是一门非常棒的编程语言。借助 shell,大量任务能实现自动化;shell ...

    LINUX SHELL编程从初学到精通

    但根据文件信息中的标题和描述,可以推断出本书内容涉及Linux Shell编程的基础知识和技能提升。下面将基于Linux Shell编程这一主题,详细说明相关知识点。 Linux Shell编程是学习Linux系统管理和自动化脚本的重要...

    Linux与Unix Shell编程指南pdf

    第三部分可能涉及Unix命令的使用,如grep、sed、awk、find、sort和uniq等,这些都是Shell编程中常用的工具。这些命令帮助用户进行文本处理、文件查找、数据过滤和格式化,极大地提高了工作效率。 第四部分可能涵盖...

    LINUX与UNIX SHELL编程指南(很全)

    1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...

    Linux shell编程文档

    ##### 为什么选择Shell编程? - **自动化任务**:Shell非常适合编写脚本来自动化重复性的系统管理和日常维护工作。 - **灵活性**:Shell提供了丰富的命令和工具集,可以根据需求快速构建解决方案。 - **高效性**:...

    shell 编程指南pdf

    1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...

    嵌入式shell编程

    在Linux系统中,嵌入式Shell编程是一种强大的技术,它允许开发者通过命令行接口执行自动化任务,特别是对于系统管理和配置工作。尽管有多种图形化工具可用,但Shell因其灵活性、可扩展性和高度可定制性而备受青睐。...

    shell 编程(中文)[pdf]

    011_合并与分割_sort_join_uniq_cut_paste_split.pdf 012_tr的用法.pdf 013_登录环境.pdf 014_环境和shell变量.pdf 015_引号.pdf 016_基础shell编程_shell脚本介绍.pdf 017_条件测试_test_expr.pdf 018_控制流结构_...

    Linux与unix shell编程指南

    1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...

    LINUX与UNIX SHELL编程指南 高清PDF

    1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...

    linux下uniq和sort命令用法详解.docx

    Linux 下 uniq 和 sort 命令用法详解 ...在实际应用中,uniq 和 sort 命令可以单独使用,也可以结合使用以达到更好的效果。例如,可以使用 uniq 命令去除重复行,然后使用 sort 命令对结果进行排序。

    LINUX与UNIX SHELL编程指南

    书中会详细介绍诸如ls、cd、mkdir、rm、cp、mv、grep、find、awk、sed等常用命令的使用方法和实例,这些都是SHELL编程中不可或缺的工具。 第四部分,UNIX文字处理,主要涵盖文本处理工具,如cat、more、less、tr、...

    商业编程-源码-Shell编程源代码 propsheethandler.zip

    在Shell编程中,常见的命令和工具如grep用于搜索文本模式,sed用于流编辑,awk用于处理和分析结构化数据,find用于查找文件,以及cut、sort、uniq等用于数据处理。这些命令可以组合使用,构建出强大的数据处理流程。...

    Linux环境下shell编程

    通过本文的学习,读者可以了解到Linux环境下Shell编程的基本概念和常用命令,掌握了这些基本技能之后,可以在日常工作中更高效地完成各种任务。同时,对于更复杂的Shell脚本编写也有了一定的基础。Shell脚本的强大之...

    SHELL经典笔试题及答案 小实例

    使用sort和uniq命令来对IP进行排序和统计。 知识点: * awk命令的使用 * sort命令的使用 * uniq命令的使用 * shell script的编写 5. 两个数之和 该脚本使用read命令来读取用户输入的两个数,并使用算术运算符来...

Global site tag (gtag.js) - Google Analytics