在统计某些数据的时候，文件中往往存在一些重复的行，那如何去掉这些重复的行呢？
用强大的awk可以轻松实现文件内容行去重。
awk '!a[$0]++' 文件
例如文件 123.txt 的内容是
1
1
2
2
3
3
awk '!a[$0]++' 123.txt
将会输出
1
2
3
=======================
统计重复行
sort i_match_09_20131029.dat | uniq -dc
xingwang.ye
- 浏览: 149278 次
- 性别:
- 来自: 北京
-
文章分类
最新评论
分享到：
发表评论
-
用vim比较文件
2013-09-17 10:07 8361. 使用vim的比较模式 ... -
linux下释放内存的cache
2013-07-31 13:03 905虽然内存cache对文件系统有加速,但是cache太多的文件 ... -
查看linux机器cpu信息
2013-06-27 17:27 543查看几核 cat /proc/cpuinfo | grep ... -
awk常用问题集锦
2012-12-07 15:38 820http://www.cnblogs.com/27681507 ... -
Linux中expr命令
2012-12-05 18:04 831http://blog.csdn.net/guhong5153 ... -
shell里面如何获取字符串长度--判断字符串为空
2012-12-05 18:04 1963#/bin/bashstr=12313; le1=`expr ... -
Linux中date命令
2012-12-05 17:35 3071Linux中date命令用法 1、以下是服务器现在的时 ... -
linux date得到当前时间的毫秒
2012-12-05 16:45 18007echo `expr \`date +%s%N\` / 100 ... -
Linux系统管理员应该知道的20个系统监控工具
2012-11-10 17:43 718http://bbs.chinaunix.net/thread ... -
LINUX SHELL 中 2>&1 重定向的问题
2012-07-31 15:17 1008转载http://blog.csdn.net/past ... -
shell 脚本中$$,$#,$?
2012-07-31 14:53 685$0 这个程式的执行名字 $n 这个程式的第n个参数值，n=1 ... -
linux shell getopts
2012-07-19 18:28 4308#getopts ALL=false HELP=false F ... -
linux如何根据进程ID查找启动程序的路径
2012-02-22 09:59 1197http://blog.csdn.net/eijnew/art ... -
awk基础
2011-12-14 14:37 8491、awk 语法分模式和操 ... -
linux rsync同步设置详细指南
2011-08-24 17:43 1241linux rsync同步设置详细指南 配置rsync 同步数 ... -
shell分割字符串
2011-06-16 14:58 1738#!/bin/sh ids="1,2,3,4, ... -
linux scp无密码
2011-06-07 17:14 1557原理： 密匙认证需要依靠密匙，首先创建一对密匙（包括公匙和 ... -
查看Linux操作系统的版本
2011-05-27 10:30 15232.4.26是内核的版本号，内核的版本号是Linus领导下的开 ... -
java调用shell，并得到shell的输出
2011-05-26 15:31 3289import java.io.IOException; ... -
把awk中的数组赋值给shell中的数组
2011-05-26 15:20 11822方法1，通过eval #!/bin/bash ipstr ...
相关推荐
当我们需要处理含有大量重复信息的文件时，有效地删除重复行是提高效率的关键。标题提到的"文本文件，删除重复行"就是一个专注于解决这个问题的程序。 这个程序由Pascal语言编写，提供了两个不同版本：一个是用...
然而，在分析或处理数据时，重复的行可能会导致误导性的结果，因此，去除TXT文件中的重复行是一项重要的预处理任务。下面我们将详细介绍如何去txt重复行，并探讨相关工具和方法。 首先，我们可以手动编写Python脚本...
最基础的去重方法是先对整个文本文件进行排序，然后通过比较相邻的行来找出并去除重复的记录。这个过程通常包括以下步骤： 1. 读取文件：逐行读取文本文件，将每一行作为一个元素存入列表或数组。 2. 排序：使用...
在IT领域，对比两个文件并去除其中一个文件的重复记录是一个常见的数据处理任务，尤其是在文本处理、日志分析或数据清洗的过程中。这个任务的核心是找出两个文件之间的差异，并保留其中一个文件中的独特信息。以下是...
Linux下文本处理工具很丰富很强大，例如这样一个文件： 代码如下:cat log ...1.使用uniq/sort删除重复行注意：单纯uniq是不行的。 代码如下
使用示例中，通过调用`RemoveDuplicatedLines`函数，可以指定一个文件路径，函数会删除该文件中的所有重复行，并返回被删除的重复行数量。 总结来说，给定文件中介绍的方法对于处理PHP中的文本文件删除重复行非常...
- **uniq**：用于去除连续重复的行，通常与sort命令一起使用，处理大量数据时非常有用。 3. **系统监控和管理** - **ps**：显示当前系统中的进程状态，常用于检查进程的运行情况。 - **top**：实时监控系统...
Linux中的`uniq`命令是一个非常实用的工具，用于处理文本文件中的重复行。它主要用于检查和删除连续重复的行，使文件内容更加简洁。在数据分析、日志分析和其他需要处理大量文本数据的场景中，`uniq`命令尤其有用。...
- **去除重复行**：`uniq file` 可以去除文件中相邻的重复行。 - **计数重复行**：`uniq -c file` 可以计算每个唯一行出现的次数。 - 示例： ```bash # 对文件 b.txt 进行排序后去除重复行并计数 [root@regtest]...
`uniq`命令用于去除重复行。 6. 系统信息和工具 - `touch`命令用于改变文件的时间戳，通常用来创建空白文件。`touch -t`可以设置文件的修改时间。 - `chmod`命令用于更改文件的权限，`chown`命令用于更改文件的...
- 通过`basename`命令去除文件扩展名后，再使用`awk -F"[_]" '{print $1}'`提取出文件名中的第一个数字（即目录名）。 - `mkdir -p`确保即使子目录已存在也不会报错，并创建所有必要的上级目录。 4. **文件移动**...
- `uniq`（去除重复行） - `join`（合并两个文件的指定列） - `tr`（字符替换和转换） ### 3. 特殊命令与技巧 #### 管道和重定向 - **管道** (`|`)：将一个命令的输出作为另一个命令的输入。 - **重定向** (`>` 和...
删除重复内容的工具是uniq，它用于去除文本文件中相邻的重复行。uniq命令只比对相邻的行，因此在使用uniq之前通常需要先用sort对文件进行排序。例如，先对文件进行排序，然后使用“uniq”命令来删除重复的行。如果...
`uniq`命令用于去除文件中的重复行，适用于清理和整理文本数据。 ### 32. vi/vim - 高级文本编辑器 `vi`（或其增强版`vim`）是一个功能强大的文本编辑器，支持复杂的文本编辑和脚本编写，是Linux管理员的必备工具...
- `uniq`：去除连续重复的行，如`uniq filename`显示`filename`中不重复的行。 - `file`：检测文件类型，如`file file.txt`显示`file.txt`的类型。 - `locate`：快速查找文件，基于数据库，如`locate filename`...
日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。 案例如下： 可以看到aaa...
26. **uniq**：去除连续重复行。 27. **diff**和**comm**：比较两个文件或目录的差异。 28. **pipe**和**redirect**：管道（|）和重定向（>，>>）允许命令间的数据流和文件输出。 29. **history**：显示过去的...