- 浏览: 154116 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
lyaqys:
lz实现的OptimisticExclusiveLock有点问 ...
java park/unpark 【java并发】基于JUC CAS原理,自己实现简单独占锁
linux文件合并去重
cat loginpc.txt | awk -F 'userName:' '{print $2}' | awk -F 'remoteAddr' '{print $1}'| sort | uniq| wc -l
2012-07-19 10:30:30| 分类: 默认分类 |字号 订阅
(1)两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
Shell代码
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
Shell代码
cat file1 file2 | sort | uniq -d > file3
3. 删除交集,留下其他的行
Shell代码
cat file1 file2 | sort | uniq -u > file3
(2)两个文件合并
一个文件在上,一个文件在下
Shell代码
cat file1 file2 > file3
一个文件在左,一个文件在右
Shell代码
paste file1 file2 > file3
(3)一个文件去掉重复的行
Shell代码
sort file | uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
Shell代码
sort file |uniq –u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!
uniq -c 显示重复的行号
cat loginpc.txt | awk -F 'userName:' '{print $2}' | awk -F 'remoteAddr' '{print $1}'| sort | uniq| wc -l
2012-07-19 10:30:30| 分类: 默认分类 |字号 订阅
(1)两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
Shell代码
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
Shell代码
cat file1 file2 | sort | uniq -d > file3
3. 删除交集,留下其他的行
Shell代码
cat file1 file2 | sort | uniq -u > file3
(2)两个文件合并
一个文件在上,一个文件在下
Shell代码
cat file1 file2 > file3
一个文件在左,一个文件在右
Shell代码
paste file1 file2 > file3
(3)一个文件去掉重复的行
Shell代码
sort file | uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
Shell代码
sort file |uniq –u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!
uniq -c 显示重复的行号
发表评论
-
毗连“"aa"”和“"bb"”不能给出一个有效的预处理标识符,gcc编译错误表
2013-10-01 18:54 3002gcc bug : ##’ cannot appear at ... -
linux进程cpu资源分配命令nice,renice,taskset
2013-09-04 14:03 1165nice,renice 指定进程运行的优先级 taskset ... -
探索 Pexpect,第 2 部分:Pexpect 的实例分析
2013-08-19 11:08 1721原文: http://www.ibm.com/develope ... -
rsync
2013-08-19 02:06 671rsync -v air@192.168.1.103:/hom ... -
进程监控
2013-08-12 15:40 678*/10 * * * * sh /opt/fetch/mint ... -
建议编译的时候加警告 atof
2013-08-07 20:46 712#include <stdlib.h> ... -
监控脚本的配置
2013-08-05 19:51 63110 9,12,18 * * * /usr/local/bin ... -
feodra 17 安装 chrome
2013-08-04 01:35 7691: 下载:http://www.google.cn/chro ... -
Sudo提权出现:xx用户不在 sudoers 文件中
2013-08-03 20:22 913Sudo提权出现:xx用户不在 sudoers 文件中 症状 ... -
select,epoll,poll比较
2013-07-28 17:13 688select,poll,epoll简介 se ... -
根据nestat 的端口,查看访问的程序
2013-07-19 12:15 980[@zw-76-82 ~]# lsof -i tcp:3398 ... -
linux运维常用命令
2013-07-13 20:40 891推荐一个实用命令:awk '{x+=$2} END {prin ... -
监控log
2013-07-10 14:50 728#!/bin/sh filedate=`date +%Y%m ... -
vim7.3 编辑中文字符的文件会显示乱码
2013-06-29 03:16 834默认编译安装vim7.3后打开含有中文字符的文件会显示乱码,g ... -
vim 退格键(backspace)不能用
2013-06-29 01:59 1682两个步骤: 1.去掉讨厌的有关vi一致性模式,避免以前版本的 ... -
ubuntu pdf乱码解决办法
2013-06-29 01:51 645ubuntu pdf乱码解决办法 第一步,在线安装中文语言支持 ... -
shell 命令
2013-06-19 14:42 606sed 's/workspace/fetch/g' *.sh ... -
java 获取mysql datetime 时间注意
2013-05-16 14:43 1523class SPubinfo implements RowMa ... -
atoi源码
2013-05-14 19:32 1262原文: http://blog.csdn.net/eroswa ... -
为重负网络优化 Nginx 和 Node.js
2013-05-13 01:12 1010原文:http://linux.cn/forum.php?mo ...
相关推荐
在Linux和Unix系统中,Shell脚本是一种强大的工具,它允许用户通过命令行接口执行一系列自动化任务,包括文件处理。本文将深入探讨如何在Shell中插入文本到文件,这对于系统管理员和开发者来说是一项基础但至关重要...
Shell脚本,实现gbk文件到utf-8文件之间的转换。用于开发测试时将Windows上传的文件转换成所需的格式。
在IT行业中,shell脚本是一种强大的工具,尤其在批量处理任务方面显得尤为高效。通过编写shell脚本,我们可以实现对字符串进行各种操作,自动化执行一系列命令行指令,从而提高工作效率。这篇博客“shell批量处理...
读取文件SHELL并判断文件生成时间,考虑到文件可能没有生成完,低于5分钟文件不拷贝。并且可以循环处理,分别判断生成的时间
在C++编程中,有时我们需要调用操作系统提供的命令行工具,如Shell命令,来执行一些系统级别的任务,比如创建、删除、移动文件等。本文将详细介绍如何在C++程序中利用Shell操作文件,并通过示例代码进行讲解。 一、...
因为最近要处理一些 JSON 数据格式,所以在经过一番搜索后 最终找到了 jq 这个很棒的工具。jq 允许你直接在命令行下对 JSON 进行操作,包括分片、过滤、转换等等。 让我们通过几个例子来说明 jq 的功能: 一、输出...
UEFI(统一可扩展固件接口)是...理解和掌握UEFI Shell的使用对于系统管理员和IT专业人员来说,可以帮助他们更有效地处理系统启动问题、系统恢复任务以及进行硬件测试。在BIOS向UEFI过渡的过程中,这样的知识尤为重要。
在VC++编程环境中,Shell API提供了对Windows操作系统底层功能的访问,使得开发者可以直接进行文件管理操作,如复制、移动和删除文件。这个标题"VC使用Shell操作文件"指的是利用Microsoft Visual C++(VC)来调用...
在处理这样的bin文件时,通常需要遵循以下步骤: 1. **验证文件**:确保文件来源可靠,防止恶意软件。 2. **备份现有系统**:在进行任何重大更改前,最好备份当前的系统状态,以防万一出现问题。 3. **环境准备**:...
在Linux系统下,Shell编程广泛应用于文件操作领域,它提供了一系列丰富的命令和工具,用以对文件...通过本章内容的学习,读者能够更好地使用Shell进行文件操作,编写出高效、稳定的脚本来自动化管理文件和处理数据。
文件转换,文件处理,shell脚本
本文将深入探讨如何利用Windows Shell的底层功能来监控文件系统的变化。我们将基于提供的"利用windows shell底层监控文件变化源码"进行讨论。 首先,Windows Shell中的文件监控主要依赖于`SHChangeNotifyRegister`...
shell 处理apache日志入库 awk分析apache日志为*.sql文件 sqlplus写入oracle
您可能感兴趣的文章:PowerShell读取文本文件指定行内容的方法PowerShell比较文本文件的两个方法Shell脚本逐行读取文本文件(不改变文本格式)Powershell实现加密解密文本文件方法实例shell文件处理笔记之插入文
在IT行业中,Shell脚本是一种强大的工具,尤其在Linux或Unix操作系统中,它允许用户自动化执行一系列命令,处理文件和目录,甚至进行复杂的任务管理。在这个特定的场景中,我们关注的是如何使用Shell脚本来生成`.txt...
再者,shell锁定是一种在Linux或Unix系统中通过shell脚本来实现文件锁定的方法。通常,shell脚本会调用如`flock`命令或`mkfifo`(创建命名管道)配合`cat`等工具来实现文件的互斥访问。例如,`flock -w timeout file...
【MSSHEL】是该DLL文件的简称,可能代表“美萍Shell”或者与软件界面和交互相关的组件,它是美萍管理软件系统中的一部分,负责处理用户界面和应用程序之间的交互。 【美萍】则指的是美萍软件公司,这是一家专注于...
根据提供的文件信息,本文将详细解释如何在Linux环境下利用Shell...这不仅有助于提高工作效率,还能实现文件传输的自动化处理。同时,通过这种方式也可以更深入地学习Linux Shell脚本的编写技巧以及FTP命令的具体应用。
### Unix Shell Awk 修改Ini文件的脚本解析 在Unix环境下,经常需要处理各种配置文件,其中.ini格式的配置文件非常常见。...这种脚本不仅适用于.ini文件的修改,还可以稍作调整后应用于其他类型的配置文件处理任务。