`
473687880
  • 浏览: 535527 次
文章分类
社区版块
存档分类
最新评论

linux 下的文本处理——除去重复行uniq命令

 
阅读更多

原文地址：http://blog.51yip.com/shell/1022.html

一，uniq干什么用的

文本中的重复行，基本上不是我们所要的，所以就要去除掉。linux下有其他命令可以去除重复行，但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点

1，对文本操作时，它一般会和sort命令进行组合使用，因为uniq 不会检查重复的行，除非它们是相邻的行。如果您想先对输入排序，使用sort -u。

2，对文本操作时，若域中为先空字符(通常包括空格以及制表符)，然后非空字符，域中字符前的空字符将被跳过

二，uniq参数说明

[zhangy@BlackGhost~]$uniq--help
  1. 用法：uniq[选项]...[文件]
  2. 从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。
  4. 不附加任何选项时匹配行将在首次出现处被合并。
  6. 长选项必须使用的参数对于短选项时也是必需使用的。
  7. -c,--count//在每行前加上表示相应行目出现次数的前缀编号
  8. -d,--repeated//只输出重复的行
  9. -D,--all-repeated//只输出重复的行，不过有几行输出几行
  10. -f,--skip-fields=N//-f忽略的段数，-f1忽略第一段
  11. -i,--ignore-case//不区分大小写
  12. -s,--skip-chars=N//根-f有点像，不过-s是忽略，后面多少个字符-s5就忽略后面5个字符
  13. -u,--unique//去除重复的后，全部显示出来，根mysql的distinct功能上有点像
  14. -z,--zero-terminatedendlineswith0byte,notnewline
  15. -w,--check-chars=N//对每行第N个字符以后的内容不作对照
  16. --help//显示此帮助信息并退出
  17. --version//显示版本信息并退出

其中-z不知道有什么用

三，测试文本文件uniqtest

  1. thisisatest
  2. thisisatest
  3. thisisatest
  4. iamtank
  5. ilovetank
  6. ilovetank
  7. thisisatest
  8. whomhaveatry
  9. WhoMhaveatry
  10. youhaveatry
  11. iwanttoabroad
  12. thosearegoodmen
  13. wearegoodmen

四，实例详解

[zhangy@BlackGhostmytest]$uniq-cuniqtest
  1. 3thisisatest
  2. 1iamtank
  3. 2ilovetank
  4. 1thisisatest//和第一行是重复的
  5. 1whomhaveatry
  6. 1WhoMhaveatry
  7. 1youhaveatry
  8. 1iwanttoabroad
  9. 1thosearegoodmen
  10. 1wearegoodmen

从上例子中我们可以看出，uniq的一个特性，检查重复行的时候，只会检查相邻的行。重复数据，肯定有很多不是相邻在一起的。

  1. [zhangy@BlackGhostmytest]$sortuniqtest|uniq-c
  2. 1WhoMhaveatry
  3. 1iamtank
  4. 2ilovetank
  5. 1iwanttoabroad
  6. 4thisisatest
  7. 1thosearegoodmen
  8. 1wearegoodmen
  9. 1whomhaveatry
  10. 1youhaveatry

这样就可以解决上个例子中提到的问题

  1. [zhangy@BlackGhostmytest]$uniq-d-cuniqtest
  2. 3thisisatest
  3. 2ilovetank

uniq -d 只显示重复的行

  1. [zhangy@BlackGhostmytest]$uniq-Duniqtest
  2. thisisatest
  3. thisisatest
  4. thisisatest
  5. ilovetank
  6. ilovetank

uniq -D 只显示重复的行，并且把重复几行都显示出来。他不能和-c一起使用

[zhangy@BlackGhostmytest]$uniq-f1-cuniqtest
  1. 3thisisatest
  2. 1iamtank
  3. 2ilovetank
  4. 1thisisatest
  5. 2whomhaveatry
  6. 1youhaveatry
  7. 1iwanttoabroad
  8. 2thosearegoodmen//只有一行，显示二行

在这里those只有一行，显示的却是重复了，这是因为，-f 1 忽略了第一列，检查重复从第二字段开始的。

[zhangy@BlackGhostmytest]$uniq-i-cuniqtest
  1. 3thisisatest
  2. 1iamtank
  3. 2ilovetank
  4. 1thisisatest
  5. 2whomhaveatry//一个大写，一个小写
  6. 1youhaveatry
  7. 1iwanttoabroad
  8. 1thosearegoodmen
  9. 1wearegoodmen

检查的时候，不区分大小写

查看复制打印?
  1. [zhangy@BlackGhostmytest]$uniq-s4-cuniqtest
  2. 3thisisatest
  3. 1iamtank
  4. 2ilovetank
  5. 1thisisatest
  6. 3whomhaveatry//根上一个例子有什么不同
  7. 1iwanttoabroad
  8. 1thosearegoodmen
  9. 1wearegoodmen

检查的时候，不考虑前4个字符，这样whom have a try 就和 you have a try 就一样了。

  1. [zhangy@BlackGhostmytest]$uniq-uuniqtest
  2. iamtank
  3. thisisatest
  4. whomhaveatry
  5. WhoMhaveatry
  6. youhaveatry
  7. iwanttoabroad
  8. thosearegoodmen
  9. wearegoodmen

去重复的项，然后全部显示出来

  1. [zhangy@BlackGhostmytest]$uniq-w2-cuniqtest
  2. 3thisisatest
  3. 3iamtank
  4. 1thisisatest
  5. 1whomhaveatry
  6. 1WhoMhaveatry
  7. 1youhaveatry
  8. 1iwanttoabroad
  9. 1thosearegoodmen
  10. 1wearegoodmen

对每行第2个字符以后的内容不作检查，所以i am tank 根 i love tank就一样了。

分享到：
| cocos2d-x aplha3.0中添加touch事件
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    linux 入门常用命令

    `uniq` 命令用于过滤文本文件中的重复行。其语法为： ``` uniq [选项] 文件 ``` - **选项**: - `-c`: 显示每行出现的次数。 - `-u`: 只显示唯一的行。 - `-d`: 只显示重复的行。 - `-n`: 忽略前 n 行。 - **...

    数据文件处理命令小结(tr,sort,cut,paste,join,uniq,split)

    #### 一、转换和删除重复命令——`tr` `tr` 命令主要用于字符转换或删除重复字符。它在Linux运维中非常实用，能够帮助用户快速修改文本文件中的字符。 ##### 命令格式 ``` tr [option] [string1] [string2] ``` #...

    linux shell 脚本编程

    - `uniq`：过滤重复行。 - `expr`：执行算术运算。 - `find`：查找文件。 - `tee`：同时将数据输出到标准输出设备和文件。 - `basename`和`dirname`：分别用于获取文件名和目录名。 - `head`和`tail`：显示文件头部...

    Linux 101 Hacks

    - `uniq`命令用于过滤重复行。例如，`sort file | uniq`可以移除文件中的重复行。 - **技巧25：cut命令** - `cut`命令用于从文件中截取指定字段。例如，`cut -d ':' -f 1,3 /etc/passwd`可以提取/etc/passwd文件的...

    shell编程

    - `uniq`：去除文本文件中的重复行。 - `expr`：执行算术运算。 - `find`：搜索文件系统。 - `tee`：同时向标准输出和文件写入数据。 通过熟练掌握上述知识，你将能够在Linux环境下运用Shell编程，实现高效的系统...

    Linux_101_Hacks_CN

    - **知识点**: `uniq` 命令用于去除文本文件中相邻重复的行。 - **应用场景**: 清除重复数据。 - **示例**: 去除文件 `file.txt` 中的重复行： ```bash uniq file.txt ``` **技巧25：cut命令** - **知识点**: `...

    Linux_101_Hacks统稿by朱涛（经典英文版朋友翻译的）

    - **解释**：`uniq`命令用于过滤相邻重复的行。 - **示例**：`uniq file.txt`去除`file.txt`中连续重复的行。 #### 技巧25：cut命令 - **解释**：`cut`命令用于从文件中提取固定宽度的列。 - **示例**：`cut -c 1-...

    shell系列工具,不同版本以及不同工具

    `find`帮助在文件系统中查找文件，`sort`和`uniq`用于排序和删除重复行，`cut`和`paste`用于截取和合并文本列。还有`tar`用于创建和管理归档文件，`gzip`和`bzip2`用于文件压缩，`unzip`和`rar`用于解压不同格式的...

    shell学习[参考].pdf

    - `uniq`：去除重复行。 - `expr`：执行算术运算。 - `find`：在目录结构中查找文件。 - `tee`：同时将数据输出到屏幕和文件。 - `basename`：提取文件的基本名称。 - `dirname`：获取文件的目录路径。 - `...

    shell中的精髓_sed_awk

    在Unix及类Unix系统（如Linux）中，`sed` 和 `awk` 是两个极其强大的文本处理工具，被广泛应用于脚本编写、数据处理以及各种自动化任务中。本文旨在深入探讨这两个工具的基本概念、常用操作以及高级应用技巧。 ####...

    关于shell的学习入门

    - `uniq`：输出文件中不重复的行。 - `expr`：进行数学运算。 - `find . -name filename -print`：查找文件。 - `tee outfile`：将数据同时输出到屏幕和文件。 ##### 4.2 流程控制语句 Shell支持条件判断、循环以及...

    Open Source UNIX[tm] Tools-开源

    7. **uniq**：去除连续重复的行。 8. **tr**：字符转换和压缩工具。 9. **wc**：计算文件的单词数、行数和字符数。 这些工具通常小巧轻便，功能强大，且组合使用可以完成更复杂的任务。例如，通过管道（|）连接它们...

    百度 PHP工程师面试题和答案解析.doc

    **解析:** 本题考察 Linux 命令行下的文本处理能力。选项 A 只能统计文件中重复行的数量，不能排序。选项 C 中的 `count -n` 是不存在的命令。选项 D 也无法完成任务。只有选项 B 正确地完成了任务：首先通过 `sort ...

    GNU Turkish Translation-开源

    fileutils-4.1.tr.po处理的是文件管理命令，如cp、mv和rm等，使得在命令行界面操作时，指令提示和错误信息可以用土耳其语显示。sh-utils-2.0.11.tr.po涵盖了Unix shell实用程序的翻译，如find、sort和uniq等，增强了...

Magicbox
Global site tag (gtag.js) - Google Analytics