`

shell 文件处理

 
阅读更多
linux文件合并去重 
cat loginpc.txt | awk -F 'userName:' '{print $2}' | awk -F 'remoteAddr' '{print $1}'| sort | uniq| wc -l

2012-07-19 10:30:30|  分类: 默认分类 |字号 订阅
(1)两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)


Shell代码 
cat file1 file2 | sort | uniq > file3 

2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
Shell代码 
cat file1 file2 | sort | uniq -d > file3 

3. 删除交集,留下其他的行
Shell代码 
cat file1 file2 | sort | uniq -u > file3 

(2)两个文件合并
一个文件在上,一个文件在下
Shell代码 
cat file1 file2 > file3 

一个文件在左,一个文件在右
Shell代码 
paste file1 file2 > file3 

(3)一个文件去掉重复的行
Shell代码 
sort file | uniq 

注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
Shell代码 
sort file |uniq –u 

上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

uniq -c 显示重复的行号
分享到:
评论

相关推荐

    shell文件处理笔记之插入文本到文件的方法

    在Linux和Unix系统中,Shell脚本是一种强大的工具,它允许用户通过命令行接口执行一系列自动化任务,包括文件处理。本文将深入探讨如何在Shell中插入文本到文件,这对于系统管理员和开发者来说是一项基础但至关重要...

    Shell GBK文件转UTF-8文件处理脚本

    Shell脚本,实现gbk文件到utf-8文件之间的转换。用于开发测试时将Windows上传的文件转换成所需的格式。

    shell 批量处理 字符串指令行

    在IT行业中,shell脚本是一种强大的工具,尤其在批量处理任务方面显得尤为高效。通过编写shell脚本,我们可以实现对字符串进行各种操作,自动化执行一系列命令行指令,从而提高工作效率。这篇博客“shell批量处理...

    读取文件SHELL并判断文件生成时间,低于5分钟文件不拷贝。

    读取文件SHELL并判断文件生成时间,考虑到文件可能没有生成完,低于5分钟文件不拷贝。并且可以循环处理,分别判断生成的时间

    c++如何使用Shell操作文件

    在C++编程中,有时我们需要调用操作系统提供的命令行工具,如Shell命令,来执行一些系统级别的任务,比如创建、删除、移动文件等。本文将详细介绍如何在C++程序中利用Shell操作文件,并通过示例代码进行讲解。 一、...

    在Shell命令行处理JSON数据的方法

    因为最近要处理一些 JSON 数据格式,所以在经过一番搜索后 最终找到了 jq 这个很棒的工具。jq 允许你直接在命令行下对 JSON 进行操作,包括分片、过滤、转换等等。 让我们通过几个例子来说明 jq 的功能: 一、输出...

    UEFI SHELL 引导启动文件

    UEFI(统一可扩展固件接口)是...理解和掌握UEFI Shell的使用对于系统管理员和IT专业人员来说,可以帮助他们更有效地处理系统启动问题、系统恢复任务以及进行硬件测试。在BIOS向UEFI过渡的过程中,这样的知识尤为重要。

    VC使用Shell操作文件

    在VC++编程环境中,Shell API提供了对Windows操作系统底层功能的访问,使得开发者可以直接进行文件管理操作,如复制、移动和删除文件。这个标题"VC使用Shell操作文件"指的是利用Microsoft Visual C++(VC)来调用...

    HS8145V补全shell的bin文件

    在处理这样的bin文件时,通常需要遵循以下步骤: 1. **验证文件**:确保文件来源可靠,防止恶意软件。 2. **备份现有系统**:在进行任何重大更改前,最好备份当前的系统状态,以防万一出现问题。 3. **环境准备**:...

    Shell编程范例之文件操作-TinyLab原创

    在Linux系统下,Shell编程广泛应用于文件操作领域,它提供了一系列丰富的命令和工具,用以对文件...通过本章内容的学习,读者能够更好地使用Shell进行文件操作,编写出高效、稳定的脚本来自动化管理文件和处理数据。

    文件转换,文件处理,shell脚本

    文件转换,文件处理,shell脚本

    利用windows shell底层监控文件变化源码

    本文将深入探讨如何利用Windows Shell的底层功能来监控文件系统的变化。我们将基于提供的"利用windows shell底层监控文件变化源码"进行讨论。 首先,Windows Shell中的文件监控主要依赖于`SHChangeNotifyRegister`...

    shell 处理apache日志入库

    shell 处理apache日志入库 awk分析apache日志为*.sql文件 sqlplus写入oracle

    Shell脚本对比两个文本文件找出不同行的2个方法分享

    您可能感兴趣的文章:PowerShell读取文本文件指定行内容的方法PowerShell比较文本文件的两个方法Shell脚本逐行读取文本文件(不改变文本格式)Powershell实现加密解密文本文件方法实例shell文件处理笔记之插入文

    shell脚本生成.txt数据文件

    在IT行业中,Shell脚本是一种强大的工具,尤其在Linux或Unix操作系统中,它允许用户自动化执行一系列命令,处理文件和目录,甚至进行复杂的任务管理。在这个特定的场景中,我们关注的是如何使用Shell脚本来生成`.txt...

    PHP后台循环锁定文件.zip_PHP后台循环_php文件锁定_shell_锁定

    再者,shell锁定是一种在Linux或Unix系统中通过shell脚本来实现文件锁定的方法。通常,shell脚本会调用如`flock`命令或`mkfifo`(创建命名管道)配合`cat`等工具来实现文件的互斥访问。例如,`flock -w timeout file...

    美萍管理软件MSSHELL.DLL文件

    【MSSHEL】是该DLL文件的简称,可能代表“美萍Shell”或者与软件界面和交互相关的组件,它是美萍管理软件系统中的一部分,负责处理用户界面和应用程序之间的交互。 【美萍】则指的是美萍软件公司,这是一家专注于...

    linux下调用Shell实现文件上传ftp服务器

    根据提供的文件信息,本文将详细解释如何在Linux环境下利用Shell...这不仅有助于提高工作效率,还能实现文件传输的自动化处理。同时,通过这种方式也可以更深入地学习Linux Shell脚本的编写技巧以及FTP命令的具体应用。

    unix shell awk 修改ini文件的脚本

    ### Unix Shell Awk 修改Ini文件的脚本解析 在Unix环境下,经常需要处理各种配置文件,其中.ini格式的配置文件非常常见。...这种脚本不仅适用于.ini文件的修改,还可以稍作调整后应用于其他类型的配置文件处理任务。

Global site tag (gtag.js) - Google Analytics