gelongmei
- 浏览: 211528 次
- 性别:
- 来自: 深圳
-
文章分类
- 全部博客 (391)
- java (18)
- python (3)
- ruby (4)
- linux (48)
- 网络 (9)
- 前端 (2)
- 社会、文化、哲学、人生、百态 (0)
- 工具 (10)
- 下载 (0)
- 常用地址 (0)
- tracert (0)
- mysql (8)
- 开源相关收藏 (1)
- 模块查看依懒 (1)
- watch使用 (1)
- Tcpdump (2)
- easy_install安装 (1)
- 构造redis批量删除脚本 (1)
- MYSQL 性能测试 (1)
- JAVA code encode utf-8 (1)
- linux nginx awk 实时 每妙 (1)
- mkpasswd (1)
- spring security oauth (1)
- jmap dump java memory Analyzer (1)
- JAVA DUMP (1)
- swap linux 过高 解决 (1)
- SWAP (1)
- jmap jstat jstack dump (1)
- java jconsole 的使用 (1)
- git 常用 (1)
- MYSQL 索引 动态 唯一 (1)
- TCP 三次握手 四次挥手 (1)
- linux date (1)
- 删除 空行 注释行 (1)
- maven3 yum linux install repository (1)
- linux git 搭建 (1)
- linux sar eth1 查看 流量 (1)
- sar (1)
- netstat ip 过滤 常用脚本 (1)
- Tcpdump 包分析网络连接过程 (1)
- net ipv4 tcp time wait tw recycle (0)
- /etc/sysctl.conf linux 网络 配置 (1)
- ss 网络连接查看 (比netstat 快很多，实时性牺牲) (1)
- MYSQL 关键字 (1)
- Linux 下多核CPU知识 (1)
- top (1)
- 令牌 证书 (1)
- mysql unix timestamp (1)
- 端口扫描 nc nmap (1)
- 204 http code 状态码 (1)
- ss -s ss -l (1)
- linux 常用 curl (1)
- linux sed 替换 换行 (1)
- centos yum install rpm install (1)
- spring-mvc源码解读 (1)
- 使用iftop查看实时的网络流量 (0)
- linux 命令 expect (1)
- HTTP (1)
- openssl ddif 加密 (1)
- iptables 详解 (1)
- python 虚拟化 VirtualEnv virtualenvwrapper (1)
- nginx (2)
- more less 实用技巧 (1)
- linux nginx (2)
- linux curl https ssl 证书 ca (1)
- openssl (1)
- php mysql linux (1)
- linux 虚拟机 虚拟 xen (0)
- linux 虚拟机 虚拟 xen kvm (1)
- linux perl 单行执行技巧 (1)
- mysql 查看库占用空间 表查用空间 (1)
- linux tcpdump (1)
- maven (1)
- sun.misc.Unsafe (1)
- OpenSSL生成证书 (1)
- http://blog.csdn.net/zzulp/article/details/8018751 (1)
- maven 本地 jar dependency (1)
- 计算JAVA代码行数最简单命令 sed (1)
- 常用的证书格式转换 rsa eg (1)
- 加密 解密 签名 (1)
- 分析jar包冲突 (1)
- 使用JMockit编写java单元测试 (1)
- Linux 技巧：让进程在后台可靠运行的几种方法 (1)
- 环境变量控制 (1)
- 5+ 个 tar 命令的用法，附示例 (1)
- scp自动输入密码 (1)
- ps axo pid (1)
- ppid (1)
- comm (1)
- pmem (1)
- lstart|grep mysql (0)
- lstart (1)
- etime|grep mysql (1)
- UML类图字少好理解 (1)
- HTTP经典文章 (1)
- git (1)
- Git常用命令 (1)
- LINUX 系统被攻击的分析过程 (1)
- NIO (1)
- LINUX 操作快捷键使用 (1)
- openSSL命令、PKI、CA、SSL证书原理 (1)
- shell (2)
- 转载 (1)
- mysqldump 可以直接dump->xml (1)
- VIM比较全面的文章 (1)
- eclipse regex 正则表达式 (1)
- synchronized (1)
- 锁 (1)
- java 正则表达式 regex (1)
- Reference Queue 引用 源码 (1)
- spring aop 源码 分析 (1)
- java @Cache @Transaction 注解 (1)
- spring aop (1)
- spring jdk proxy cglib 动态代理 性能比较 (1)
- spring proxy private public 代理限制 (1)
- spring transaction aop 事务 (1)
- spring autowire 注解注入 (1)
- 桥接 NAT NAT地址转换 内部网络 虚拟网络 (1)
- spring-web-mvc 源码解读 之 RequestMappingHandlerMapping (1)
- find atime mtime ctime -n n +n (1)
- android studio 快捷键初探 (1)
- android 源码阅读的计划 (1)
- 计算机网络学习-VLAN (1)
- sed 高级 合并行 (1)
- CAP 一致性 可用性 分布式容错性 (1)
- android lib so 库文件 (0)
- android lib so 库文件 移植 (1)
- android 不错的博文 (1)
- sourceinsight 源码 阅读 (1)
- Android Tab UI (1)
- 诗 (1)
- mysql 批处理 (0)
- netty 堆外内存 DirectByteBuffer (1)
- netty 并发 百万 推送 (1)
- Linux操作系统中内存buffer和cache的区别 (1)
- maven intellij target bytecode version (1)
- linux sleep()的实现原理 (1)
- android (2)
- javadoc 代码注释规范 (1)
- spring 自动注入bean auto (1)
- Photoshop CS6常用快捷键 (1)
- 股票 数据 机器 分析 (1)
- 批处理 (1)
- mysql -e (1)
- char (1)
- Unicode (1)
- 编码 (1)
- utf8 (1)
- utf-8 (1)
- utf16 (1)
- utf-16 (1)
- IntelliJ IDEA (1)
- ide (1)
- idea (1)
- intellij (1)
- 文件 (1)
- 目录 (1)
- 源代码 (1)
- CountDownLatch (1)
- CyclicBarrier (1)
- Semaphore (1)
- spring (1)
- linux 查看不同进制文件 (1)
- WebMvcConfigurationSupport (1)
- sdkman工具的使用 (1)
- http header (1)
- LINUX系统优化 (1)
最新评论
-
gelongmei：
威武我大酒神
shell脚本不换行刷新数据
awk 查重复数据脚本
cat imsi2phone.txt|awk '{a[$2]++;if(a[$2]>1){print $1}else{b[$2]=$1}}END{for(c in b){if(a[c]>1){print b[c]}}}'|wc -l
A B
460001992158261 8613711921591
460001952196579 8613711921591
460001992158261 8613711921592
460001952196579 8613711921593
查B重复的A
A B
460001992158261 8613711921591
460001952196579 8613711921591
460001992158261 8613711921592
460001952196579 8613711921593
查B重复的A
分享到：
发表评论
相关推荐
### Unix Shell Awk 修改Ini 文件的脚本 在Unix环境下，对配置文件（尤其是INI格式的文件）进行处理是一项常见的需求。本篇文章将基于提供的标题、描述、标签以及部分代码内容，详细介绍如何利用Unix Shell结合Awk...
线程在AWK中的实现通常需要借助外部库或者嵌入式脚本语言，如Gawk（GNU Awk）提供的多线程支持。 3. **"How to Use AWK.txt"** 这个文本文件很可能是AWK的快速入门指南，包括以下内容： - **基本语法**：介绍如何...
sed操作通常是可重复的，并且能够以批处理的方式来处理文件，这在自动化脚本和数据处理中非常有用。sed的命令模式包括对文本进行删除、替换、插入等多种编辑功能，用户可以通过正则表达式来指定匹配条件，从而精确...
- **高级应用案例**：通过构建复杂的AWK脚本，可以实现诸如数据分析、统计报告生成等高级功能。 综上所述，AWK不仅是一种功能强大的文本处理工具，也是一种易于学习且功能丰富的脚本语言。掌握了AWK的基本使用方法...
awk的功能远超一般的文本处理工具，它可以进行复杂的模式匹配和数据处理任务，几乎可以替代小型脚本语言进行编程。 #### 2. 为什么使用awk? - **文本处理需求普遍**：在日常工作中，我们经常需要处理文本文件中的...
- awk除了能够查找模式外，还能对数据进行更复杂的处理。 - **与sed的对比**： - sed主要用于文本替换，而awk更侧重于数据分析和处理。 - **与sort的对比**： - sort主要用于排序操作。 - awk虽然不专门用于...
3. 将`awk`脚本保存在单独的文件中，然后通过`awk -f awk_script_file input_file(s)`调用。 `awk`脚本的结构通常包括`BEGIN`、`awk_pattern { actions }`和`END`块。`BEGIN`块在处理输入之前执行，`END`块在处理完...
- **脚本开发**：利用AWK的脚本功能，可以快速开发出功能强大的文本处理脚本。 #### 五、AWK的调用方式 1. **命令行方式**：直接在命令行输入AWK命令，这种方式适用于简单的文本处理任务。 2. **脚本文件方式**：...
- **《SED_单行脚本快速参考》的_awk_实现**：这个标题表明文档旨在比较和展示如何使用`awk`来实现通常由`sed`执行的任务。`sed`（Stream Editor）是一种流编辑器，主要用于文本数据的格式化、过滤、替换等操作；而`...
通过定义模式（Pattern），awk可以在数据行中查找符合特定条件的行，并执行相应的动作（Action）。 - **动作**：动作是指在匹配到相应模式时执行的代码块，通常包含数据处理逻辑。 #### 四、awk程序结构示例 ```awk...
⑤ 当一条输入记录比较了所有的 awk_cmd 后，awk 读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到 awk 读取到文件尾。 ⑥ 当 awk 读完所有的输入行后，如果存在 END，就执行相应的 actions。 awk_...
6. **数组**：Awk支持关联数组，可以在处理数据时存储和查找特定值。 例如，一个简单的Shell脚本可能这样使用Awk： ```bash #!/bin/bash # 计算一个文件中单词出现次数 cat file.txt | awk '{for(i=1; i; i++) {a[$...
这不仅可以深化对`awk`的理解，还可能启发我们编写更高效、更复杂的`awk`脚本。同时，源码阅读也能提供关于编程实践和设计模式的洞察，对于任何软件开发者来说都是一份宝贵的资源。 Linux下的`awk`与其他平台上的...
4. **文件和目录操作**：使用`cd`、`ls`、`grep`、`awk`等命令对文件系统进行操作，查找、读取或过滤数据。 5. **错误处理**：`set -e`命令可以设置脚本在遇到错误时立即退出，确保错误不会被忽略。 6. **函数**：将...
AWK脚本通常用于数据提取、数据转换和报表生成。 AWK命令可以分成三个版本：原始的awk、new awk（通常称为nawk）和GNU awk（通常称为gawk）。gawk是AWK的一个免费软件版本，并且是这三个版本中功能最强大的。一般...