一直没有怎么写过脚本,最近赶鸭子上架,要写一个统计用户访问次数的脚本。因为用户在日志会出现多次,需要按照手机号码进行一下去重。结果用到了sort和uniq两个命令。当时对于这两个命令为什么需要联合使用比较模糊,今天总结一下。
提示:uniq去重功能,只能针对连续的多行进行去重,只剩下唯一的一条。
比如有如下的文件happy.txt,文件内容如下
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
如果需要将文件内容去重,我们看一下单用uniq和将sort与uniq结合用的差别。
cat happy.txt |uniq
结果如下
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
先排序再去重
cat happy.txt |sort|uniq
结果如下
Happy Birthday Dear Tux!
Happy Birthday to You!
看了上面的测试结果,大家应该明白了,sort是为了将相同内容的行排列在一起,然后使用uniq将相同的行进行去重,进而达到去重的目的。
分享到:
相关推荐
在Linux Shell环境中,`sort` 和 `uniq` 是两个非常实用的命令,它们主要用于文本文件的数据处理。`sort` 命令用于对文件内容进行排序,而 `uniq` 命令则用于去除文件中连续重复的行,或者显示只出现一次或多次的行...
本资源为 Linux Shell 编程基础教程,涵盖了 Linux Shell 编程的基础知识,包括语法基本介绍、变量、环境变量、Shell 命令和流程控制等。 一、语法基本介绍 在 Linux Shell 编程中,必须以#!开头,指定解释器的...
为什么要进行 shell 编程 在 Linux 系统中,虽然有各种各样的图形界面工具,但 shell 仍然是一个非常灵活的工具。shell 不仅集合了大量命令,还是一门非常棒的编程语言。借助 shell,大量任务能实现自动化;shell ...
但根据文件信息中的标题和描述,可以推断出本书内容涉及Linux Shell编程的基础知识和技能提升。下面将基于Linux Shell编程这一主题,详细说明相关知识点。 Linux Shell编程是学习Linux系统管理和自动化脚本的重要...
第三部分可能涉及Unix命令的使用,如grep、sed、awk、find、sort和uniq等,这些都是Shell编程中常用的工具。这些命令帮助用户进行文本处理、文件查找、数据过滤和格式化,极大地提高了工作效率。 第四部分可能涵盖...
1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...
##### 为什么选择Shell编程? - **自动化任务**:Shell非常适合编写脚本来自动化重复性的系统管理和日常维护工作。 - **灵活性**:Shell提供了丰富的命令和工具集,可以根据需求快速构建解决方案。 - **高效性**:...
1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...
在Linux系统中,嵌入式Shell编程是一种强大的技术,它允许开发者通过命令行接口执行自动化任务,特别是对于系统管理和配置工作。尽管有多种图形化工具可用,但Shell因其灵活性、可扩展性和高度可定制性而备受青睐。...
011_合并与分割_sort_join_uniq_cut_paste_split.pdf 012_tr的用法.pdf 013_登录环境.pdf 014_环境和shell变量.pdf 015_引号.pdf 016_基础shell编程_shell脚本介绍.pdf 017_条件测试_test_expr.pdf 018_控制流结构_...
1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...
1.6.1 为什么要使用suid/guid 8 1.6.2 设置suid/guid的例子 8 1.7 chown和chgrp 9 1.7.1 chown举例 9 1.7.2 chgrp举例 9 1.7.3 找出你所属于的用户组 9 1.7.4 找出其他用户所属于的组 10 1.8 umask 10 1.8.1 如何...
Linux 下 uniq 和 sort 命令用法详解 ...在实际应用中,uniq 和 sort 命令可以单独使用,也可以结合使用以达到更好的效果。例如,可以使用 uniq 命令去除重复行,然后使用 sort 命令对结果进行排序。
书中会详细介绍诸如ls、cd、mkdir、rm、cp、mv、grep、find、awk、sed等常用命令的使用方法和实例,这些都是SHELL编程中不可或缺的工具。 第四部分,UNIX文字处理,主要涵盖文本处理工具,如cat、more、less、tr、...
在Shell编程中,常见的命令和工具如grep用于搜索文本模式,sed用于流编辑,awk用于处理和分析结构化数据,find用于查找文件,以及cut、sort、uniq等用于数据处理。这些命令可以组合使用,构建出强大的数据处理流程。...
通过本文的学习,读者可以了解到Linux环境下Shell编程的基本概念和常用命令,掌握了这些基本技能之后,可以在日常工作中更高效地完成各种任务。同时,对于更复杂的Shell脚本编写也有了一定的基础。Shell脚本的强大之...
使用sort和uniq命令来对IP进行排序和统计。 知识点: * awk命令的使用 * sort命令的使用 * uniq命令的使用 * shell script的编写 5. 两个数之和 该脚本使用read命令来读取用户输入的两个数,并使用算术运算符来...